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AS 提 要 


本 书 的 内 容 是 作者 与 合作 者 在 - 段 研 究 工作 成 果 
的 基础 上 ,系统 地 论述 线性 回归 模 列 的 M 方法 的 理 
论 。 其 中 包括 :关于 M 估计 定义 的 讨论 ;MM 估计 的 强 、 
弱 相 合 性 ;Ad 个 计 的 渐 近 止 态 性 ;基于 M 估计 的 线性 
很 设 检验 的 方法 和 理论 ;At 估计 的 线性 表示 等 。 

本 书 所 反映 的 上 述 研究 工作 是 国家 自然 科学 基金 
资助 的 重点 课题 之 一 。 

本 书 的 读者 对 象 :数理 统计 专业 的 研究 工作 者 , 实 
际 工作 者 ;大 专 院 校 概率 统计 专业 的 教师 ,研究 生 、 高 
年 级 学 生 。 
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Abstract 


This monograph, based on the research achieve- 
ments of the authors and their co-workers, gives a 
systematic account on the asymptotic theory of M- 
methods in linear regression models. If consists of a 
discussion on the definition of the M-estimateson the 
weak and strong consistency and asymptotic norma- 
lity, weak and strong linear representation of M-esti- 
mate. and linear hypothesis testing based on M-esti- 
mates. A series of special methods are developed in the 
book enabling us to give very sharp results on a num- 


ber of basic questions. 
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出 版 说 明 


从 60 年 代 起 ,由 华罗庚 教授 任 主编 的 4 现代 数学 丛书 ) 编 辑 委 
员 会 曾 组 织 编著 ,并 由 我 社 出 版 了 多 部 具有 很 高 水 平 的 数学 学 术 
专著 ,有 几 部 专著 并 已 在 国外 出 了 外 文 版 ,受到 国内 外 数学 界 和 广 
大 读者 的 高 度 重 视 , 获 得 了 很 高 的 评价 。 原 编 委 会 中 华罗庚 , 关 肇 
直 、 吴 新 谋 三 位 教授 虽 已 先后 逝世 ,但 他 们 为 本 《从 书 》 所 作出 的 贡 
献 馆 今 仍 为 人 们 所 敬仰 ,怀念 。 由 于 某 些 客观 原因 ,现代 数学 从 
书 ;的 出 版 工作 曾 一 度 停顿 。 

为 了 适应 现代 数学 的 迅速 发 展 ,更 好 地 反映 我 国 数学 家 近 几 
年 的 优秀 研究 成 果 , 必 须 大 力 加 强 4 现 代数 学 丛书 ) 的 规划 ,编辑 、 
出 版 工作 ,充实 编 委 会 的 力量 。 考 虑 到 不 少 编 委 年 事 已 高 ,经 向 原 
编 委 会 由 大 部 分 同志 及 数学 界 有 关 专 家 广泛 征求 意见 后 ,于 1990 
年 对 编 委 会 作 了 调整 ,补充 了 一 些 著名 的 中 年 数学 家 和 学 科 带 头 
人 ,建立 了 新 的 编 委 会 ,并 进一步 明确 了 本 外 书 的 宗旨 。 

《现代 数学 丛书 ?新 的 编辑 委员 会 由 苏 步 青 教授 任 名 誉 主编 、 
谷 超 豪 教 授 任 主编 ,18 位 著名 数学 家 任 委员 ,。 编 委 会 负责 推荐 (或 
审定 ) 选 题 和 作者 ,主持 书稿 的 审核 等 工作 。 

《现代 数学 丛书) 的 宗旨 是 ;向 国内 外 介绍 我 国 比较 成 熟 的 、 对 . 
学 科 发 展 方向 有 引导 作用 的 、 国 内 第 一 流水 平 的 数学 研究 成 果 , 反 
映 我 国 数学 研究 的 特色 和 优势 ,扩大 我 国 数学 研究 成 果 的 影响 , 促 
. 进 学 科 的 发 展 和 国内 外 的 学 术 交 流 。 

为 了 实现 上 述 宗旨 ,本 从 书 将 陆续 组 织 出 版 在 基础 数学 、 应 用 
数学 和 计算 数学 方面 处 于 学 科 发 展 前 沿 、 有 创见 且 具 有 系统 完整 


+2 出 版 说 明 
研究 成 果 的 现代 数学 学 术 专著 。 
为 出 版 好 《现代 数学 处 书 》, 我 们 热切 地 期 望 着 数学 界 各 位 专 


家 的 大 力 支持 和 悉心 指导 ,并 欢迎 广大 恋 者 提出 宝贵 的 建议 和 意 
Re 
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理论 研究 和 实践 经 验 表明 ,线性 回归 分 析 中 最 常用 的 方法 
一 一 最 小 二 乘法 ,在 一 些 情况 下 表现 不 理想 。 近 几 十 年 来 ,统计 学 
家 提出 了 许多 替代 方法 供 选 择 使 用 。 本 节 的 主题 一 -M 方 法 ,就 
是 其 中 之 一 ,并 且 可 以 说 是 最 受 重 视 、 研 究 成 果 最 多 的 一 种 。 

这 个 方法 的 研究 发 端 于 Huber 在 1964 年 的 一 项 工作 ,其 中 
考察 了 位 置 参 数 的 M 估计 问题 ,于 1973 年 ,他 把 这 个 方法 用 于 一 
般 的 多 元 线性 模型 。 自 那 以 后 ,这 个 领域 受到 统计 学 家 相当 的 重 
视 ,20 余年 来 积累 了 一 批 研究 成 果 。 

本 书 作者 及 其 合作 者 在 80 年 代 后 期 开始 涉足 这 个 领域 .所 得 
到 的 研究 成 果 就 是 写作 本 书 的 基础 .也 可 以 说 ,本 书 也 就 是 作者 及 
合作 者 这 一 段 工作 的 总 结 。 当 然 ,工作 还 没有 结束 ,有 的 问题 还 有 
待 于 在 今后 取得 根本 的 进展 。 

本 书 内 容 包 括 :对 M 估计 定义 的 讨论 ;af 估计 的 强 、 弱 相合 
性 ; 渐 近 正 态 性 ;基于 M 估计 的 线性 假设 检验 的 方法 和 理论 (这 在 
某 种 意义 上 可 看 作 是 古典 方差 分 析 的 一 种 推广 ); 以 及 M 估计 的 
线性 表示 , 即 用 一 个 线性 独立 和 去 逼近 M 估计, 我 们 对 M 估计 的 
一 个 特例 一 最 小 一 乘 估计 ,给 予 了 较 多 的 注意 .除了 其 在 应 用 上 
的 重要 性 外 ,这 个 特例 对 一 般 情况 下 的 理论 发 展 有 着 启示 的 作用 。 
至 于 最 小 二 乘 估 计 , 它 当然 无 疑 是 M 估计 家 族 中 最 重要 的 成 员 。 
但 本 书 对 它 着 墨 不 多 。 因 为 关于 这 个 题目 前 此 已 有 专著 [5]。 

本 书 只 限于 考察 线性 回归 且 随 机 误差 独立 的 情况 。 这 个 情况 
在 统计 上 是 最 常用 的 。 另 外 ,这 个 情况 的 相对 简单 的 架构 ,有 利于 
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得 到 系统 深刻 而 非 表面 的 结果 。 当 然 ,M 方法 的 使 用 不 限于 线性 
模型 ,例如 ,有 一 些 学 者 已 尝试 将 其 用 于 带 线性 部 分 的 半 参 数 模 
型 ,并 取得 了 一 些 成 果 。 我 们 觉得 ,如 果 把 线性 情况 研究 活 彻 了 , 弄 
清 了 在 这 一 情况 下 的 一 些 主要 问题 能 推进 到 何 种 程度 ,就 可 以 树 
立 一 个 标杆 ,作为 在 更 复杂 的 模型 下 努力 的 目标 。 

在 本 书写 作 中 ,我 们 努力 遵循 深入 浅 出 的 原则 , 几 是 能 用 初等 
工具 处 理 的 问题 ,就 尽量 采用 初等 工具 ,尽管 本 书 中 不 少 定理 的 证 
明 很 是 曲折 繁复 ,但 所 用 的 预备 知识 却 不 多 ,具有 理工 科 概 率 统计 
和 初步 的 分 析 及 矩阵 知识 , 即 可 顺利 阅读 本 书 。 书 中 不 加 证 明 地 引 
用 了 少量 概率 不 等 式 和 在 一 般 教 本 中 不 易 见 到 的 极限 理论 ,也 都 
介绍 了 其 出 处 ,读者 易于 从 国内 常见 的 资料 中 查 到 .本 书 可 以 适合 
广大 的 读者 ,包括 对 线性 统计 模型 大 样本 理论 感 兴趣 的 教师 ,研究 
人 员 和 研究 生 , 大 学 生 ;以 及 对 M 方法 感 兴趣 的 实用 工作 者 等 。 

本 书 的 主题 是 国家 自然 科学 基金 一 项 重点 课题 的 一 部 分 。 在 
多 年 的 工作 进程 中 ,我 们 一 直 得 到 该 基金 的 资助 , 遂 在 此 表示 感 
谢 ; 华 东 师 范 大 学 王 静 龙 教 授 审 阅 了 本 书 全 稿 ,并 指出 和 纠正 了 个 
别 笔 误 之 处 ,在 此 一 并 致谢 。 

由 于 作者 水 平 所 限 ,对 书 中 一 些 不 妥 以 至 错误 之 处 ,希望 广大 
读者 和 专家 同行 不 吝 指教 。 


作 者 
1994 年 6 月 于 中 国 科 学 技术 大 学 研究 生 院 
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第 1 章 


M 佑 计 的 定义 


首先 交代 一 下 本 书 中 常用 的 一 些 符号 . 数 ,向 基 、 和 矩阵 和 函数 ， 
如 无 特别 申明 ,都 是 实 的 , 不 加 “” 的 向 量 总 是 指 列 向 量 , 若 a 为 向 
量 或 矩阵 , 则 以 a' 记 其 转 置 ,以 上 a 上: 记 a 的 各 元 的 平方 和 ,以 
la |WÈ a 各 元 绝对 值 的 最 大 值 . 当 4 为 方 阵 时 ,4 之 0、4 之 0 分 别 表 
示 4 为 正定 和 非 负 定 的 , 当 AB 为 同 阶 方 阵 时 ,4 之 B 表示 4 一 BB 
之 0. 当 不 致 引起 混 清 时 , 常 把 极限 号 下 的 “mco ”等 略 去 不 书 , 户 
维 欧 氏 空间 记 为 R’. 


$11 用 极 值 定义 M 估计 


一 、 线 性 回归 模型 
本 书 常 把 线性 回归 模型 写 为 下 面 的 形式 ， 
Y= ahte KiKa. ab 


这 里 B 是 未 知 的 p 维 回归 参数 向 量 ;Y,、zx; Be, 分 别 是 第 ; 次 观 、 
察 或 试验 时 的 目标 变量 ( 因 变量 ) ,解释 变量 ( 自 变 量 ) 积 随机 误差 
的 取 值 . 注意 ,后 者 是 不 可 观察 的 ,因而 其 值 未 知 : 而 Y; 和 xz; 已 
知 ,分 别 为 1 维和 p 维 . 在 多 数 情 况 下 ,zx, 是 一 个 已 知 的 不 带 随 
机 性 的 向 量 , 在 理论 论证 时 ,我 们 把 它 作 数 值 向 量 处 理 . 本 书 个 别 
地 方 涉 及 zx, 本 身 也 是 某 一 个 p 维 随机 向 量 的 观察 值 的 情况 ,这 时 
我 们 用 大 写 的 X, 来 记 ,以 示 区 别 . 在 理论 论证 时 ,X, 要 作为 随机 
商量 处 理 . 模型 (1. 1) 的 统计 问题 ,就 是 要 利用 观察 或 试验 所 得 的 


22. 第 1 章 对 估计 的 定义 


WREG Y) Sind EN By 作出 推断 (估计 、 检 验 等 ). 在 有 些 
问题 中 ,也 涉及 对 误差 e 的 分 布 特征 (如 e 的 方差 ) 的 推断 问题 ， 
通常 在 应 用 中 ,线性 回归 函数 常 包含 一 常数 加 项 ,这 当然 是 
(1,1) 的 特 鲍 ,只 须 取 x, 的 第 一 分 量 为 1 即 可 . 在 有 些 情 况 下 , 有 
必要 将 这 常数 项 明显 标 出 ,这 时 我 们 将 模型 写 为 ， 
Y= zh te AKinl), (1.2) 
28 HH p 维 .一 个 重要 情况 是 (1, 2) 中 只 有 常数 项 部 分 ， 
Ysa +e (<isan Sl), (1. 3) 
(1.3) 称 为 位 置 参 数 模型 ,at 称 为 位 置 参数 . 
还 需要 说 明 的 一 点 是 :参数 的 取 值 范围 称 为 参数 空间 , 如 
无 特殊 指定 ,就 把 这 参数 空间 记 为 R. 
二 、 用 极 值 点 定义 久 的 M 估计 
考虑 线性 模型 (1, 1), 选 定 一 个 定义 于 R 的 函数 p, 令 


HB) = Sour, — 28) BER). (1.4) 
Bo BM 估计 记 为 有 ,定义 为 HB) 的 一 个 最 小 值 点 : 
Hf.) = min{H,(B) + 8 € R’). (1.5) 


注意 ;这 里 并 未 要 求 & 有 唯一 性 ,而 应 也 的 确 可 以 不 唯一 . 一 个 
常 提 到 的 重要 例子 是 对 模型 (1. DËR pd =(ul W A, REY, 
eY, 的 样本 中 位 数 med《Y,，…,Y,), 而 当 为 偶数 时 ,后 者 一 般 
不 唯一 .对 一 般 模型 (1. 1) 也 不 难 举 出 &. 不 唯一 的 例子 来 . 

这 种 估计 是 Huber 最 先 关于 位 置 参 数 模型 (1. 3) 子 1964 年 
在 文献 [33] 中 引进 的 . 1973 年 ,Huber 在 文献 [34] 中 又 将 这 种 估 
计 拓 展 到 一 般 的 线性 模型 (1. D. 自 那 以 后 ,这 一 方向 吸引 了 一 些 
统计 学 者 的 注意 ,发 表 了 不 少 论文 . 

M 估计 的 命名 ,与 它 同 极 大 似 然 估计 (Maximum Likelihood 
Estimate ,缩写 为 MLE) 的 联系 有 关 . 设 在 模型 (1. 1) 中 ,误差 el， 
"se 独立 同 分 布 (以 后 简 记 为 id ) 有 已 知 的 公共 密度 f, 则 似 然 
BRA 


$11 用 极 值 定义 M Rit -3e 


LB) = Jire. — zp). 
和 的 MLE By 使 L(8) 达 到 最 大 .如果 记 p= —logf, W BI 就 是 


这 pCY: 一 有) 的 最 小 值 点 .所 以 MLE 是 M 估计 的 一 个 特例, 这 
个 “M" 也 就 是 取 自 MLE 的 首位 字母 . 例如 : 

D 车 f(z) 为 正 态 N(0,o) 的 密度 , 则 

plu) = (207) u? + const., 

引出 的 估计 就 是 最 小 二 乘 估计 (Least Squares Estimate ,缩写 为 
LSE). 

2) # f(z) 为 重 指数 分 布 (也 称 Laplace 分 布 ) 的 密度 ; 

f(x) = (20) 1exp (~ |z!/o), 
则 
plu) = lul/e + const.. 

引出 的 估计 是 最 小 一 乘 估计 或 称 最 小 绝对 偏差 估计 (Least Abso- 
Jute Deviation Estimate, 缩 写 为 LADE). 

LSE 和 LADE 是 M 估计 的 两 个 最 重要 的 特例 前 者 历史 悠 
入 ,在 很 长 时 期 ,很 大 程度 上 可 以 说 直到 如 今 ,在 线性 回归 分 析 中 
占据 着 中 心 位 置 .LADE 也 有 悠久 历史 ,在 相当 长 的 时 期 内 ,由 于 
在 计算 及 理论 上 的 困难 ,进展 不 大 . 近 几 十 年 来 , 随 着 计算 问题 的 
解决 ,在 应 用 上 意 来 仍 受 人 重视 ,在 理论 上 (主要 是 大 样本 性 质 的 ) 
也 有 了 比较 深入 的 进展 . 

在 性 估计 定义 中 的 函数 p 在 一 定 限度 内 可 以 自由 选择 ,以 适 
应 不 同 的 需要 . 例如 , 当 ix| 一 co,p(w) 增 长 较 慢 时 ,局 有 较 好 的 样 
本 稳健 性 , 即 对 样本 中 可 能 混入 的 少量 异常 值 有 较 强 的 抵抗 力 . 例 
如 LADE 的 稳健 性 优 于 LSE 的 稳健 性 ,这 种 对 稳健 性 的 追求 是 
引进 M 估计 的 动力 , 不 过 要 注意 :稳健 性 与 其 说 是 一 个 优点 ,不 如 
说 是 一 个 性 质 . 并 不 是 意 稳 健 意 好 ,过 于 强调 稳健 性 可 能 导致 效率 
的 损失 , 另外 ,如 果 我 们 对 误差 分 布 类 有 相当 的 知识 , 则 它 也 可 用 
于 指导 我 们 选择 适当 的 p, 以 期 达到 更 高 的 效率 . 不 过 p 的 选择 并 
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非 完全 自由 ,有 其 分 析 上 和 统计 上 的 限制 . 在 以 下 几 段 我 们 就 致力 
于 讨论 这 个 问题 . 

三 、4Mf 估计 的 存在 定理 

前 面 用 (1, 5) 式 定义 了 模型 Ci. DPH Bo 的 M 估计 把 , 故 首 
先 需要 回答 的 问题 ,就 是 在 何 种 条 件 下 (1, 5) 右 端的 极 值 能 够 达 
到 ,关于 这 个 问题 ,有 下 面 的 一 般 结果 : 

定理 1.1 设 以 下 三 条 件 成 立 ; 

1° p 在 R' 处 处 连续 . 

2” 存 在 4, 使 p(x) 当 w 之 a 时 , 非 降 且 不 恒 等 于 一 常数 ; 当 w 志 
a 时 , 非 增 且 不 恒 等 于 一 常数 

3° REE X= aee BRA p 

WEE AEREO. DERE. 

条 件 3" 是 必要 的 , 因 若 和 的 秩 小 于 p, 则 在 模型 (1. DZ F A 
为 不 可 估 ,估计 po 的 问题 就 失去 了 意义 .前 两 个 条 件 只 涉及 p, 其 
意义 可 以 这 样 理解 :如 果 用 8 估计 po W Yre 可 视 为 实际 数据 
与 这 一 估计 之 间 的 偏离 ,而 CY; 一 zB8) 可 视 为 由 这 种 偏离 而 引起 
的 某 种 损失 的 度量 . 在 这 一 看 法 下 ,条 件 1" 无 非 是 说 :损失 随 偏 离 
连续 变化 . 对 条 件 2*, 设 a=0, 则 该 条 件 意味 着 :同一 个 方向 的 偏 
离 , 绝 对 值 钝 大 ,所 导致 的 损失 也 应 愈 大 ,至 少 不 能 更 小 , 从 这 个 观 
点 看 ,这 两 条 要 求 都 是 自然 的 起 码 的 要 求 (在 实用 中 所 用 的 p, 其 
条 件 2" 中 的 a 都 是 0. 作为 一 个 分 析 定理 ,我 们 把 这 个 条 件 提 得 更 
一 般 一 点 ). 

现在 进行 定理 的 证 明 : 记 

Ho = inf{H,(8):8 € R’}, 
按 条 件 2°, 对 一 切 BER’. HA Supa), KR-—wo< Hy <o. 在 
Ro 中 找 一 列 点 {6m) ,使 
limH,(6..) = Hy. 
若 
limllé,ll = ~ (1.6) 

不 成 立 , 则 可 找到 {5} 的 子 列 {5w} AE be bE RY. 利用 pp 的 连续 
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性 ,有 五 ,(6)==Ho, 于 是 5 达到 了 HCA RMA. 因此 ,为 证 定 
理 1.1, 只 须 证 明 (1. 6) 不 可 能 .用 反 证 法 : 设 (1.6) 成 立 , 则 可 抽出 
{6m) 的 一 子 列 一 一 为 方便 计 ,就 设 此 子 列 即 {5。} 本 身 , 使 当 meoo 
时 ,以 下 的 断言 成 立 : 
D balbal REK i EE h. 
ii) ib» ARR g USi<n), H. 
g= (41i Km); 
g= (Ñ m+ Sn); 
la| <o (4 m+n). 
CAME ii) ,必要 时 可 更 改 cc, 足 标 的 编号 . ) 必 有 ; 
zh=0 (m+1<i<n). (1.7) 
因 若 对 此 范围 内 的 某 个 i(1.7) 不 成 立 , 则 对 这 个 有 ， 
lab = Ball lab /bl -> 20 leh] = 09. 
这 与 DAB. 
RREO DA X 的 秩 为 p 的 假定 ,得 知 ch USS.) KEE 
全 为 0. 记 
9 = min(p(o0) ,p(— œ)) — pla). 
RREZ, A >00 AHRR 6, 可 找到 充分 大 的 区 ,使 


De®, — rbd << Dy es: gd +g (1.8) 


ne ah 
Y, — 2b, >a C4H1l<i<n); 
Y; — Ibu <a n +1<isgn). 
w 
d, = |th|/|¥, — Tbn — a| Q<i<n). 
因 zh (1<iSns) 不 全 为 0, 故 d=maxldi e d, >0. 为 方便 计 
且 不 失 普 遍 性 , 设 4 二 d, 且 zh 之 0. 令 如 一 bm 十 h/d, 则 
T= Zo, (ng +1 Sin), 
Y, — zd = Y, — riba — DA/d =a, 
Y, — 2b, = Y, — zh — zh/d 
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BY; — Tba — |x| /d; 
BY, — rib, — Yi zh — a| 
=Y, — 216, — (Yi ~ iba ~ a) 
=a (2Sign). 
类 似 可 证 明 
Y, — Tba Ka (mt+1<icm). 
综合 以 上 诸 式 ,并 利用 条 件 2* 和 (1. DA, 
Hn) pla) + (ny — 1) pC) + Gay — ni)p(— co) 


+ > ey, tbn) 
aot 
Emo) + (n, — m,)e(— œ) 
+ >) 0, — g) — 9/2. 
wen 


但 由 2 的 连续 性 和 {b} 所 满足 的 条 件 iD LAB Hy bu) > Holt YE 
实 知 : 上 式 右 端 前 三 项 之 和 即 为 A. 于 是 由 上 式 得 到 矛盾 的 结果 
H, 6a) <A. 这 证 明了 (1. 6) 不 可 能 , 即 证 明了 本 定理 . 1 

四 、 从 统计 的 观点 和 看 p 应 满足 的 条 件 , 

LBRERRHE: AT 6, 存在 ,p EW EKRI. BB. 存在 ,并 
不 等 于 它 在 统计 上 合理 . 为 了 得 到 “在 统计 上 合理 ”的 M 估计 ,p 
应 满足 什么 条 件 呢 ?本 段 的 目的 即 是 提出 和 解释 这 样 的 条 件 . 注 
意 : 此 处 说 的 是 “解释 ?而 非 “ 证 明 ” 因 为 什么 是 “统计 上 合理 ”的 佑 
计 , 本 来 就 无 严格 的 定义 ,只 能 通过 一 些 启发 性 的 解释 来 说 明 这 样 
的 条 件 是 应 当 满足 的 . 

考虑 模型 (1. 1) ,定义 

At) = Eple; +t). 

BO ABE Elle +e) |<oo, ME] cE RAE AOA RX. 
所 要 提出 的 条 件 是 : . 

4 2 AOR Ae) >h, (0) G12)» a.9) 
换 名 话说 ,he) 以 :一 0 为 唯一 的 最 小 值 点. 


§1.1 用 极 值 定义 M 佑 计 7. 


下 面 对 条 件 (1, 9) 作 一 个 启发 性 的 解释 :不 论 用 什么 方法 估计 
Bo， 总 是 希望 估计 值 能 有 更 多 的 机 会 接近 如 , 今 车 设想 就 以 Atk 
计 如 (这 是 最 理想 的 ), 半 均 损失 为 


EH,(B) = SSE pte) = SHO, 
而 若 以 某 个 非 Both) B 去 估计 Bo FID BEI 
EHD = Dale h ~ BY]: 


由 于 p 840.8 (ay) RA pM (Bo 一 8) ULSA 
全 为 0. 按 (1.9), 应 有 : 
EHP) > EH, B). (1.10) 
一 般 而 言 ,(1. 10) 式 意味 着 有 更 多 的 可 能 是 
H,(8) > H$). 

因为 于 估计 使 召 "(8) 达 到 最 小 ,上 式 意味 着 使 昌 ,(8) 达 到 最 小 的 
点 , 即 M 估计 太 应 有 更 多 的 机 会 在 真 值 & 附 近 , 面 不 是 在 远离 真 
值 pv 的 某 个 地 方 .反之 , 若 (1. 9) 不 满足 , 则 相反 的 情况 就 可 能 发 
Æ. 这 和 解释 了 条 件 (1. 9) 的 必需 性 质 . 

当然 ,这 一 解释 过 于 笼统 ,不 一 定 能 使 所 有 的 人 满意 . 在 第 2 章 
及 以 后 章节 中 我 们 将 看 到 在 有 关 M 估计 的 许多 大 样本 定理 的 假 
定 中 ,都 隐 含 这 个 条 件 . 以 下 我 们 针对 最 简单 的 模型 (1. 3) 及 LSE 
和 LADE 这 两 个 实例 ,可 以 更 清楚 地 看 到 这 个 条 件 的 意义 , 为 简 
Hit i e 为 id 

先 考虑 we 的 LSE, CRE Yie Y, 的 样本 均值 了 ., 按 (1. 3), 
有 


F, = a + G52, = Se/n. 
对 LSE 而 言 ,条 件 (1. 9) 等 价 于 Ee:=0, 若 这 个 条 件 满足 , 则 按 大 


MIRA 2, 0, TY, ao BI F, X ao 的 相合 估计 .反之 ,车 
AC) =Ele +t ta 处 达到 最 小 值 ,而 a0, Ee = — a Mi 
F, Saata i Y, 不 为 相合 . 因此 ,在 本 例 中 M 估计 了 了 , 是 否 
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相合 取决 于 条 件 (1.9) 是 否 满足 .因为 相合 性 是 对 -个 估计 的 最 起 
码 的 要 求 , 所 以 条 件 (1, 9) 不 可 少 . 

其 次 看 的 LADE, ERIE Yis, Yn 的 样本 中 位 数 mm, 对 
LADE ME REU 9) 等 价 于 e, 有 唯一 的 中 位 数 0. 若 这 个 条 件 满 
足 , 则 易 证 明 ( 参 见 文献 [3])》 

tt, Z> med (Y,) = os 
即 vn, 为 相合 的 . R AG) Ele +2] ER /MAE aok 
达到 ,或 者 At) 有 不 止 一 个 的 最 小 值 点 , 则 a 不 为 相合 . 所 以 在 
本 例 中 ,条 件 (1. 9) 也 不 能 少 . 

读者 或 许 会 问 : 由 于 一 般 地 我 们 并 不 确切 知道 的 分 布 , 因 
而 也 就 求 不 出 如 (2). 这 样 ,我 们 如 何 能 知道 条 件 (1. 9 是 否 满足 
呢 ? 以 下 我 们 从 几 个 方面 来 回答 这 个 问题 . 

D 在 实际 应 用 中 ,回归 函数 按 应 用 的 目的 ,总 是 有 其 特定 含 
义 的 .例如 在 (1. 1) 中 zip 可 能 是 并 的 期 望 (均值 回归 ), 这 个 含义 
决定 了 Ee;=0, 因 此 也 就 决定 了 若 取 pu) =w, NWR. 9) 必 满 
E AH E zB 是 Y; 的 中 位 数 ( 中 位 回归 ), 则 这 个 含义 决定 了 
med(e) 一 0, 若 假定 e 的 中 位 数 唯一 , 则 在 取 pC) = |u lh, RE 
(1. 9) 满 足 .一 般 来 说 , 若 rL Y: 的 户 分 位 数 (0<p<1), 则 < 的 
力 分 位 数 为 0. 若 假定 e 的 p 分 位 数 唯一 , 则 易 证 明 , 当 取 

plu)= plu| (u 20) 

= @<o) 《1.11) 
时 ,条 件 (1.9) 满 足 . 换 句 话说 ,回归 函数 的 含义 指导 我 们 选择 p， 
以 使 (1. DRY. 在 此 要 提醒 的 是 ;不 要 将 此 看 法 极端 化 ,以 为 回归 
函数 的 含义 总 是 完全 决定 p 的 选择 ,因而 就 失掉 灵活 性 . 举 一 个 例 
子 : 在 许多 情况 下 ,有 理由 假定 Y: 服从 对 称 分 布 ,而 乙 8, 为 对 称 中 
心 , 这 时 ,zp 既是 了 的 期 望 ,也 是 其 中 位 数 ,因此 pCa) =u? fl 
pCa) = |u RERE. 9). 还 有 其 他 可 能 的 选择 , 见 以 下 第 3 条 . 

2》 对 一 般 含 常数 项 的 模型 (1. 2), 有 时 在 实用 上 感 兴趣 的 只 
是 回归 系数 B 的 估计 ,a。 却 不 重要 . 这 时 ,条 件 (1. 9) 可 放宽 为 : 


.1 
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h(t) 有 唯一 的 最 小 值 点 ara 不 必 为 0. 因为 若 令 一 一 ay6 一 
eta WHO 2) 改 写 为 
Y= + zp + eis 

则 h(t) = EpC, + t) = Eple, + a + £). 
后 者 在 :一 0 处 有 唯一 最 小 值 点 :一 0, 因 此 条 件 (1. DW E. 在 新 的 
模型 中 ,6 的 值 依旧 ,其 估计 不 受 影响 ,但 如 不 知道 a, 则 mm 无 法 还 
原 为 m, 因 而 后 者 的 估计 会 出 现 系统 偏差， 

3) 在 实用 上 ,p 多 选择 为 偶 函 数 . 这 时 , 若 。 的 分 布 关 于 0 对 
称 , 且 有 密度 , 则 在 一 般 的 条 件 下 ,可 以 证 明 条 件 (1. 9) 成 立 . 

定理 1.2 设 p 为 偶 函 数 ,在 [0,co) 非 降 ; 随 机 变量 。 有 密度 
SAS ARR, EL. FEM. 若 以 下 三 个 条 件 满足 其 一 , 则 
Eplet+o kl t= 0 为 崔 一 最 小 值 点 . 

1 ze 在 [0,c)? 严 增 ; 

2° 7 在 [0,>) 严 降 ,p 不 便 等 于 常数 ; 

3° FETE A>0, 使 在 [0,4) 严 增 ; 太 在 [0,4) 严 降 . 

证 记 

IO = top) fd 119 


.因为 p.f EDARI DAJ HARE BUER :> 0 的 情况 ， 
把 (1. 12) 式 右 端 的 积分 拆 成 ,十 |”, 在 后 一 积分 中 作 变 数 代 换 
一 一 * 一 “并 仍 改 "为 .利用 pf 的 个 性 , 易 得 

T= [ew +9 — pS) — flu + Ddu 


+ few — pu +o) fu + du 
SAO + dle). (1.13) 


ZAAD BEL 2 MT, > 0. Xt OFRER 
换 v=u 十 :/2, 得 


nO few ~ 1/2) — pœ +2/2))f@ + 2/200 
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= p F fis SJ) +402). 


在 7.() 中 作 代 换 v= ~u, 并 仍 改 积分 变量 «为 v, 利 用 p 和 的 
偶 性 ,把 变换 后 的 LOS LOARER, HA 


wh 
SACP few + /2) — plo — t/2)) (F@ — t/2) 


— fo + t/2))dv. 
从 对 P 和 了 了 的 全 部 假定 , 易 知 JOS, ARE MW Je) 
0. 将 此 与 前 面 已 证 的 J1(2) 的 性 质 结合 起 来 , 即 知 :对 于 任何 > 
0,4 JC) >0. 即 证 明了 所 要 的 结果 . 1 
MERN RH RAST BOR El le; +e) | <oo. 有 时 ,把 
这 条 件 改 写 为 以 下 形式 ， 
E(p(e, +t) — ple) > 0 〈 当 上 天 0)， (1. 14) 
它 只 要 求 
Elple +t) — ple) | <o (对 任何 : € RD. (1.15) 
通常 , (1.15) 比 El pete): Coo RG. MONT LSE, A. 9) 的 形状 
BOR Ee} <oo iit. 15) WAM E le, |<. 对 LADE, 按 (1.9) 
的 形状 ,要 求 |e:|<o0; 面 按 (1. 15), 则 无 任何 要 求 . 
五 、p 为 凸 函数 的 情况 
这 个 情况 在 本 书 中 起 着重 要 的 作用 . 这 里 先 介绍 一 些 本 书 需 
要 的 初步 知识 .在 后 面 第 4、5 章 中 用 到 的 进一步 知识 ,将 在 第 4 章 的 
附录 中 介绍 . 
定义 于 RRR SAD HH, MBIT HE el u, E€ Rpa ER 
及 0<4<1, 必 有 
fQu, 十 (1 — Au) SAS la) + (1 — DFC). 
如 果 当 uw 关 uw 及 0<4<1 时 ,上 式 总 有 严格 不 等 号 成 立 , 则 称 了 为 
Pow, 
定理 1.3 ioH EXT R ATR NY PH-HLAEM 
X: 
1° 车 2 是 非 单 调 的 , 则 它 必 满足 定理 1. 1 的 条 件 1° 各 2", 且 
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lim inf Plu) / |u| >. 

2 RADEN HW HADA p eR. 如 果 为 严 
D, HER X= (rooz) RA pM HCA) EP A. 又 车 p 
非 单调 , 且 X ABE pM lim HP =o. 

3 BS BR 中 的 一 个 封闭 曲面 ,将 R* 分 成 内 外 两 部 分 ,分 
别 记 为 4.B. 若 包 是 4 的 一 个 内 点 ,并 且 inf{ 百 (8):8ES)> 
HB) MH SEB MA HOH, (A). 

证 1 由 2 的 凸 性 可 推出 其 连续 性 . 由 于 P 为 非 单调 ,存在 
a<b 使 0"<o(e)<0(0), 这 时 ,根据 凸 性 易 知 ,有 

plu) È p) + ( — a) loh) — pla) Cu — b) Cu SB). 
由 此 知 
lim inf p(u)/ |u| > 6 — aY PO) — play) > 0. 
类 似 地 ,由 为 非 单调 ,存在 <d AK pC) > pd) >0. 由 此 出 发 可 
证 lim inf plu) / |u| >0. BIEB T 
lim inf pCu)/ ul >0. (1. 16) 

HH C1. 18) A p( 土 9) 一 w, 据 此 及 p 的 连续 性 知 ,p 必 在 某 点 ze 达 
到 最 小 值 . 再 由 凸 性 即 知 , 当 uat, o 非 降 ; 当 ualt, o 非 增 . 
即 证 明了 1°. 

2” 理 (8) 的 是 性 是 显然 的 . Fe HPO, A XS A 
Bp MURR? 中 任何 BAB EEE 2, AS JRun) KORA 
zB 于 是 对 任何 XE (0,1), 有 


HB, + DB) Zo — 28) + NY — 
ZPD ,对 任何 ;二 1,…。n, 有 
PAY, ~ £R) + GQ — AY, — id 
KAY, — zh + (1 DAY, — zhi), 
HA Y,— 2,8: AY,— 2,825 i 7 BY, ACA BS BAS 
HR + A — DB) < AHAB) + A — DH, KB) 
从 而 证 明了 HAMKA. 
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当 p 非 单调 时 ,上 面 已 证 明 p(-boo) oo. H X HRW poi 
XX'>0, Bi H lelo, A 8XX B00, max |z p-o, B 
为 p 具 有 有 限 的 下 界 , 知 

im H,(8) = 2, 
即 证 明了 2*. 

3" 的 证 明 很 简单 : 如 果 存 在 EBE HOSH, L), Ml eA 
HA(B) 的 凸 性 知 ,在 PMP 连 成 的 线段 1 上 的 每 点 名 都 有 
HPOH, (Bo). LAS SAZA Be HB) SH, (Bo). 这 与 
intl H,(@)!8ES)>H, (BoA a. 定理 证 毕 . 1 

本 定理 的 1* 和 2" 说 明了 : 当 为 凸 且 非 单调 时 ,由 (1.5) 定 义 
ka M 估计 及 必 存 在 (当然 ,需要 矩阵 X 的 秩 为 p 这 个 条 件 ), 且 若 
PAPE MB, 唯一 . (1.16) 说 明了 : 当 |u| 一 吕 时 ,p(w) 的 增长 速 
度 至 少 与 |ui 一 样 .这 表明 , 当 要 求 稳健 性 很 强 时 ,使 用 凸 的 p 也 许 
是 不 合适 的 . 本 定理 的 3* 虽 然 很 简单 ,但 在 以 后 章节 中 起 着 重要 的 
作用 ,甚至 可 以 说 ,p 为 凸 函 数 这 种 情况 之 所 以 在 M 估计 理论 中 
占 如 此 重要 的 地 位 ,在 相当 程度 上 ,是 与 这 一 简单 人 性质 有 关 的 . 

下 面 考察 o 为 四 这 一 性 质 与 条 件 (1. 9 的 关系 . 先 引 入 几 个 记 
号 ,因为 p 为 凸 ,在 每 个 zxE 及 处 ,2 的 左 \ 右 导数 皆 存 在 ,分 别 记 之 
KW (uA Wy Ce), 因为 p th Wy ABE Be HE 
a<b 时 ， 

LOES MOES ROES TRON 
因此 , 若 以 于 记 任 一 满足 条 件 

W_ Wu) Vu) SV, 0O) UE RY) (1.17) 
的 函数 , 则 更 也 必 为 非 降 的 . 

定理 1.4 BoARLAARMY. VAY ORAL, 

Re 为 随机 变量 . 则 

Elole+t)— pO < GER), (1. 18) 
且 

g(t) = E(ele + t) — ple)) GER) (1.19) 
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以 0 为 唯一 最 小 值 点 的 充 要 条件 是 ;对 某 个 满足 (1.17) 的 更 ,有 


El¥le+0)| <o GER), (1. 20) 
EV(e) = 0, (1.21) 
tEW(e +t) >0 (tA#0), (1, 22) 
证 先 证 (1.18) 与 (1. 20) 等 价 .以 F 记 e 的 分 布 , 设 (1.18) 成 
TE AE AR 的 凸 性 , 易 见 


pu +t+1) — plutt Yuti) 
D plu +t) — plu +t-— 1), 
因此 
[Wee +e) [mle 十 上 十 1) — ple t+] 
+ lale +2) — ple +#t— 1)|. 
由 这 个 不 等 式 及 (1. 18), 即 得 (1. 20). 反 过 来 , 设 (1. 20) 对 某 个 满 
足 (1.17) 的 多 成 立 , 易 见 (1. 20) 对 任何 满足 (1.17) 的 宁都 成 立 . 
FLE AA YF RRELA 
Yu +i 1) Ë+) KYU +t +1), 
KIP e+HODISKIE ett +I Eet) AA YE 
(1. 20), 知 铺 也 如 此 .根据 p HE A 
plu + t) — plu) > O> plu +t) — plu) 
< [e|max(|W. (Ge — i) |s | Ge +O), 
plu +t) — plu) < 0> {ee +i) — olu) | 
< |t|max((W_ (|, 1%, Ge) PD. (1. 23) 
由 此 ,利用 (1. 20) 式 对 任何 满足 (1. DDA Bae, 
(1.18). 
现 设 (1, 20)~(1.22) 成 立 , 往 下 证 明 0 为 g(2) 的 唯一 最 小 值 
点 .由 (1.17》, 有 
EW, (e) > 0 EY- (e). a. 24) 
因为 e 为 凸 , 易 知 (1. 19) 式 定义 的 g 也 为 凸 . 现 设 0<t<1, 则 在 
(1. 23) 第 一 式 中 ,至 + Ca +t) 20 
OSV. ut EY (ut), 
又 
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[We +t)| <max(j{¥. (wl, Yo G@+1)|), 
据 此 ,由 (1. 23) 式 ,得 
[ete + t) — pW) |S |F Gut 1)| + F- (ut+ D1 
Tio- onl + 1%, Gn 
因为 上 面 已 证 明 (1. 20) 对 任何 满足 (1. 17) r 都 成 立 , 根 据 上 
式 , 用 控制 收 敏 定理 , 即 得 
g+ (O= limE[e Kole + 4) — pe] 
= Ellim: ‘(ple + 一 ple))] 
= EW, (e) 20. a. 25) 
KMAR, FF tA 0) 可 证 明 
g- (0) = EW_() <0. 
据 此 ,由 g 的 凸 性 , 即 知 o 为 g 的 最 小 值 点 . 以 下 证 唯一 性 : 设 某 个 
to>0 也 是 8 的 最 小 值 点 . 根据 g 的 凸 性 ,(0,a)? 内 任 一 点 都 是 g 的 
最 小 值 点 , 故 gf (=0 (0<<t<to). 按 导出 (1. 25) 的 道理 ,可 得 
Bs (t) = EW, (e +t),g- (t) = EV. (u +t), 
故 
EV, (e +t) = EV. (e +t) =0 (0<1<t). (1.26) 
由 (1.17) 及 (1. 26), 
EV(e+t)=0 O<t<h). 
这 与 (1. 22) 矛 盾 . 当 t。<0 时 ,证 法 类 似 . 
反 过 来 , 设 (1. 18) 成 立 ,并 且 0 是 g 的 唯一 最 小 值 点 , 则 有 
gi (0) >0>g". (0). 由 于 前 面 已 证 明 (1. 20) , 故 (1. 25) (及 类 似 关 
于 g-(0)) 式 成 立 ,因而 
EW. (e) >02 EY. (e). (1.27) 
根据 (1, 27), 即 知 存在 里 适合 (1. 17), 使 (1. 21) 成 立 . 为 证 
(1. 22), 用 反 证 法 : 设 存 在 to>0, 使 
EY(e +t) <0. Q. 28) 
因为 多 非 降 , 由 (1.21) 及 (1. 28) 4 EW (ett) = 0, HEI H AY 
单调 性 , 易 知 
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EY, (e +t) = EY. (€-D=0 O<t<h), 
利用 此 式 ,根据 推导 (1. 25) 的 论据 , 即 得 g' (2)==0 CKO). 
因为 g 为 凸 , 知 (0,t) 内 每 点 都 是 g 的 最 小 值 点 . 这 与 8 有 唯一 最 
小 值 点 矛盾 . t。<0 的 情况 ,证 法 类 似 . 定理 证 毕 . 1 

这 个 定理 把 条 件 (1, 9 转化 到 了 对 函数 更 的 要 求 . 在 以 后 各 
章 ,我 们 会 遇 到 一 些 定理 ,其 条 件 通 过 Y 来 表达 , 初始 一 看 ,这 种 
条 件 的 统计 意义 不 明显 . 有 了 定理 1. 4, 就 可 以 看 出 ,那些 条 件 保 证 
了 (1.9) 这 个 必需 的 条 件 .不 过 ,为 了 特定 的 目的 ,所 提 的 条 件 往 往 
超出 了 这 个 范围 ,今后 我 们 会 有 机 会 讨论 这 一 点 . 

在 关于 条 件 (1.9? 的 讨论 中 ,我 们 曾 指出 E g 有 唯一 最 小 值 
点 ae, 但 a 天 0. 则 除了 模型 中 的 常数 项 外 ,对 回归 系数 的 估计 并 无 
影响 . 下 一 定理 表明 : 若 p 为 严 凸 且 非 单调 , 则 这 一 点 总 是 成 立 的 - 

定理 1. 5 若 。 为 非 单 调 的 严 呈 函数 , 且 (1. 18) 成 立 . 则 由 (1， 
19) 式 定义 的 g, 必 有 唯一 最 小 值 点 . 

证 ho AFERA g 也 为 严 凸 , 故 如 有 最 小 值 点 , 则 必 唯 一 . 
往 下 证 g(-t00) =00, 由 此 就 推出 g 必 有 最 小 值 点 ,因而 即 可 证 明 
本 定理 . 

因为 p 为 凸 且 非 单调 , 按 定 理 1. 3 的 1", 有 (too) =o, 根据 
定理 1.4, 由 (1.18) 知 (1. 20) 成 立 . 又 根据 pC boo =o e HS 
性 知 , 存 在 zw 及 sE 《0,1), 使 

P, DSe Chu dw). 
DAF ide SPAT. iR a tE 
foie (u) dF) < e/3.[_ ara <1-¢/2, 

FE to=max (0x --a) Al t20, 24 tet, A 

fi (u + DAF (u) > fi GOAF (u) > &/3. 
4 ura, tent, A utieu. K 

[Te Gt oar wn > ef arw > /2. 


将 二 式 相 加 ,得 
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f P, wt OdF(u) = EV, (e +D 28/6 Gh). 


(1. 29) 
因为 更 非 降 , 因 而 BY+(e 十 0) 也 非 降 . 由 (1. 29) 可 知 , 当 oon}, 
EV. le 十 t) 的 极限 存在 , 且 大 于 0( 可 为 0), 以 ! 记 这 一 极限 (如 为 
co, 则 取 :一 1》, 按 导出 (1.25) 的 方法 ,得 

gs @ = EV (e +t) 22/6 >0 Sh). 
根据 此 ,由 8 的 凸 性 , 即 得 g (co) = 00. 类 似 地 可 证 明 g(—00) = 
, ©. 定理 证 毕 . l 
注意 :此 处 我 们 并 未 假定 对 任何 :ER', 有 El ple +t) |<. 
如 作 了 这 一 假定 , 则 由 Fatou 引 理 即 可 推出 g( 士 2%) 一 oo. 


$1.2 M 估计 作为 方程 的 解 


设 有 线性 模型 (1.1), 用 (1. DEX LH M fitt Aa A o 
导数 o HV HE R LSA TE. 则 A, 必 满 足 方 程 


DEY. — iMa: = 0. (1. 30) 


基于 这 一 点 ,有 的 工作 (参见 文献 [51], [52j、567] 等 ;就 脱 开 
(1. 30) 与 (1, 5) 的 关系 ,而 径直 从 (1. 30) 出 发 , 即 给 定 一 个 定义 于 
及 :的 函数 到 ,然后 把 po 的 M 估计 定义 为 方程 (1. 30) 的 解 ,这 也 可 
以 看 成 是 M 估计 的 另 一 种 定义 (独立 于 (1. 5) 的 定义 ). 因为 除非 
P' 处 处 存在 ,由 (1. 5) 出 发 的 定义 不 能 是 (1. 30) 的 解 . 反之 ,除非 Y 
满足 一 系列 的 条 件 ,(1. 30) 的 解 也 不 可 能 对 某 个 p 适合 (1. 5)， 

从 基于 定义 (1. 30) 出 发 的 工作 分 析 , 可 看 出 其 动机 在 于 ; 若 假 
E V 有 适当 的 光滑 性 , 则 按 (1. 30) 左 端 作 Taylor 展开 ,提供 了 对 
A 作 大 样本 分 析 的 一 个 途径 . 在 较 早 的 时 候 , 没 有 找到 除 此 以 外 
的 有 效 方法 ,而 直接 从 (1. 5) 出 发 又 不 对 p 作 充 分 光滑 的 假定 ,在 
处 理 上 很 困难 . 以 后 的 工作 表明 ;对 一 些 基本 的 大 样本 问题 一 一 如 
Â 的 相合 性 与 渐 近 正 态 性 ,不 须 对 p 作 多 少 光滑 性 假定 ,就 可 以 
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解决 得 很 好 . 在 这 些 情况 下 ,从 (1. 30) 出 发 ,等 于 在 较 强 的 假定 下 ， 
推出 同样 或 更 弱 的 结果 . 例如 ,从 (1. 30) 出 发 , 连 LADE 这 样 重要 
的 情况 也 无 法 对 付 . 

这 样 , 我 们 本 来 可 以 结束 关于 这 个 定义 的 讨论 (事实 上 ,本 书 
ARRU 30) 的 方式 定义 M 估计 ), 但 由 于 从 这 一 定义 出 发 的 讨 
论 在 文献 中 占 衣 一定 的 数量 ,故我 们 应 花 一 点 箭 幅 来 考察 一 下 这 
个 定义 的 主要 问题 一 一 方程 (1, 30) 的 解 的 存在 问题 . 基于 定理 
1. 1 ,不 难 证 明 以 下 的 结果 : 

定理 1.6 REV ER RHE, AREA PORES: 

1 存在 2 fh ua HY Vu) 0. REEF Ose <a 时 ， 
PaO, (ARES FO. 

2 F E R' 非 降 , 且 不 是 非 负 或 非 正 . 

则 方程 (1. 30) 必 有 至 少 一 个 解 ， 

证 9 pw) = | Yodo. EPRE p E RER, M wa 
时 , 非 降 ， x<<a 时 , 非 增 . MA E uwa Ruca 处 都 不 恒 等 于 党 
数 , 有 


plo) > 0 = pla), o(— ©) > 0 = pla), 
因此 根据 定理 1.1 知 ,五 ,(8)( 见 (1.4)) 有 最 小 值 点 A YEE, 
知 p'= 多 处 处 成 立 , 故 及 满足 (1, 30). 

BPR. AY 处 处 连续 , 且 不 为 非 负 或 非 正 , 故 必 存 在 a, 使 
V(a)=0. BAIA V 非 际 , 且 不 是 非 负 或 非 正 , 知 殉 满足 1*, 故 由 
已 证 部 分 知 ,(1. 30) 的 解 存在 . 定理 证 毕 . 1 

从 以上 证 明 可 看 出 ,2* 其 实 是 1 的 特例 . 之 所 以 单独 列 出 ,是 
因为 对 这 个 情况 ,由 于 p(w) 一 | Y odv 所 定义 的 p 为 的 ,因此 
进一步 可 推出 这 时 (1. 30) 的 解 与 (1. 5) 的 解 等 价 . 且 如 里 为 严 增 ， 
则 2 为 严 凸 . 这 时 (1.5) 和 (1. 30) 都 只 有 唯一 的 解 - 

迄今 为 止 , 还 没有 发 现 一 种 方法 ,能 不 依赖 于 通过 令 CB 
有 的 导数 为 0 去 得 出 方程 (1. 30), 从 而 证 明 它 有 解 . 而 只 有 做 到 了 
这 一 点 ,才能 使 M 估计 的 方程 的 定义 真正 从 极 值 定义 中 独立 出 
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来 .因此 ,在 有 些 文献 中 从 (1. 30) 出 发 的 工作 ,其 中 对 于 的 假定 包 


合 了 本 定理 中 施加 于 Y 的 条 件 . 也 有 的 工作 (例如 文献 [66]) 中 对 
W 的 假定 与 本 定理 的 假定 比较 , 互 有 出 入 ,这 时 就 不 能 保证 
(1.30) 有 和 解 . 特别 是 , 记 在 尺 处 处 连续 的 条 件 很 重要 , 那 怕 至 只 
在 一 个 点 不 连续 ,也 可 以 使 (1. 30) 无 解 . 让 我 们 来 看 一 个 例子 : 
问题 源 出 于 文献 [26], 在 其 中 作者 研究 (1. DE Bo 的 M fiit, 
RER p 为 
pu) =6lu| + OQ— Ow O<e<b, 

并 用 (1, DEX ĝe XA pÆ iul GK FLADE w RHF 
LSE) 的 混合 , 取 法 的 用 意 大 概 是 想 综合 一 者 的 长 处 . 文献 [26] 的 
作者 想 借助 于 方程 (1. 30), 但 麻烦 的 是 :w (0) 不 存在 .因为 pz 只 在 
一 个 点 0 不 存在 ,而 该 点 正 是 p 的 最 小 值 点 .看 来 规定 p (0) 一 0 是 
可 行 的 ,于 是 , 令 

Wa) = ô » sgo lu) + 20 — Oz, a. 31) 
而 把 A, 定义 为 (1. 30) 的 解 . 但 作者 忽略 了 在 多 的 这 种 规定 下 
(1.30) 是 否 有 解 的 问题 . 这 个 问题 在 文献 [16] 中 考察 了 ,结果 表 
明 : 即 使 对 于 最 简单 的 情况 -一 -位 置 参数 模型 (1. DU Re 的 公 
共 分 布 满足 很 一 般 的 条 件 下 ,(1. 30) 也 可 以 无 解 ， 

定理 1.7 设 

和 = 十 ea (inn l), 

e, 为 iid. ,有 公共 密度 ,jc)>>0, 且 了 在 c 点 连续 ,其 中 < 是 函数 
Qla) = bE le, — a| + G — Ele ~ a|? 

的 唯一 最 小 值 点 (因为 p 为 严 凸 , 最 小 点 必 唯 一 ). 以 p 记事 件 { 方 
程 (1. 30) 无 解 } 的 概率 ,其 中 于 由 (1. 31) 决 定 , 则 

limp, = 8f(€)/G — 8 + 8f). a. 32) 
当 0<6<1 时 ,此 值 大 于 0, 因 而 记 没有 定义 . 注意 :对 此 处 考察 的 
特殊 模型 ,方程 (1. 30) 有 形式 


Zs, —a)+20— aye, —a)=0. (1.33) 
这 个 定理 的 证 明 很 长， 有 兴趣 的 读者 可 参看 文献 [16] 在 此 处 


et PPO mer wr mn Vas 上) 一 


ity? 
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我 们 考虑 一 个 特殊 情况 :ee,… 的 公共 分 布 为 R( 一 1/2， 
172) 一 一 即 区 间 ( 一 1/2,1/2) 上 的 均匀 分 布 . 我 们 不 证 明 (1. 32), 
而 只 证 明 一 个 较 弱 的 形式 ， 
lim infp, > 0. (1, 34) 

由 (1. 34) 同 样 得 出 A 不 可 按 方程 (1. 30) 所 定义 的 结论 . 

为 证 (1. 34) ,不 妨 设 wm 一 17/2. EY Yoo Hild, HAD 
FDA RO). 为 了 书写 简单 起 见 , 考 虑 5=2/3 的 特例 . 这 时 方 
程 (1. 33) 简 化 为 


Ssg, — a) + DO, ~ o = 0. (1. 35) 
各 oi 
VA SSG TYY, 的 次 序 统 计量 ,(1. 35) 可 写 为 
Ssgncé, 一 aa) 十 Eea =0. (1. 36) 
£ 


记  La=[1/2—2/4n 1/2}, Le = [1/21/24 2/0 n I, 
ZL 一 [174 一 IVR ,1/4+2/V rn ]; 
m=[n/2— Vn], m=[n/2t Vn], 
其 中 [a] 表 示 不 超过 a 的 最 大 整数 , 定义 


wW, = em = SE (1.37) 


= eral 
RB A=A.=(6,EL,) G=1,2), 
B=B,=(W.€[6,,/2-1/0n 6/24 1/en J). 
则 易 见 
{W, € Ly} D A N B. a. 38) 

TE FEB 

lim infP (A, N An N BY) =q > 0. (1.39) 
事实 土 ,由 fx/2 土 V7 ]/n 二 1/2 土 /Yn 十 ol(1/YV#), 接 次 序 统计 
量 的 极限 定理 ,有 


VW Eana rey ~ (1/2 + W/m) -到 NO,114). 
由 此 立即 得 出 
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limP(A,,) 一 limP(4:.) = ®(2) — ®(— 2). (1.40) 
HRP © id NO DAJA A A N. 
考虑 条 件 概率 
P(B, |u) = P(B, IE, = 0)» 

按 次 序 统计 量 理论 中 周知 的 事实 (例如 文献 [3] 的 定理 1. 3) 知 ,在 
&,, =u 条 件 下 ,总 十 … 十 各 ,-! 的 条 件 分 布 就 是 ,一 1 个 iid,， RC0,u) 
变量 之 和 的 分 布 . 因此 , 按 tid. MULE At AN Berry-Esseen 理 
论 ( 例 如 文献 [49] 第 5 章 定理 3) ,存在 与 a M uE (0,1) 都 无 关 的 常 
数 4, 使 对 一 co<a<b<<oo, 有 
nW, — 2 (my + Du 

am — DY? 
Kole, = u) — @O) — Da) | < A/a. 


|Pla< 


由 此 式 即 得 
(yl fn — u/2) VI2 


smm 1)? 


= a|= (ef Vn + u/2) A) + of 


ulm — 1)? 


P(B,|w= @ 


2 
(1.41) 

但 对 zxE (0,1) 一 致 地 有 

(ah n= u/2) AI - 叫 = /Yr + uf VT) 


ulm, — 1)? ula, — 1)? 


$| 


2/8) — 0-15) +0| Fa]. (1. 42) 


根据 (1, 41) 和 (1. 42) ,得 
lim infP(B,) > OC /6) — B(- V6). (1.43) 
由 (1.40) 和 (1.43), 得 
lim inf P (An N An N BDX lim inf(P(A;,) 十 已 (dz) + PCB) 
— 2 > lim infP(A,,) 
+ lim infP(A,,)+lim infP(B,)—2 


wu 
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SUBD PC MEPE) 
—@(—S6)-2=¢>0 
这 证 明了 (1. 39. 
定义 事件 
E, = (方程 (1. 35) A). 
往 下 证 明 存在 常数 +>0, 使 当 FED KA MF ta E Las tin € Ln 
Bw. € Zw 一致 地 有 下 式 成 立 : 
d, = PCE, |f, = 可 = ta W, =e) Br (1.44) 
在 此 注意 ,在 (1. 44) 式 右 端 标 出 的 条 件 下 ,V, 的 条 件 分 布 就 等 于 
7 一 m2 个 iid. Rlus,1) 变 量 之 和 的 分 布 . 因为. 
u, © Lal1/3 <1 — 4, <1, 
通过 初等 计算 ,或 引用 局 部 极限 定理 ( 见 文献 L49] 中 第 ? 章 ) 易 证 ， 
车 用 f(t,u.) 记 随机 变量 
2,= Q.(V,) 
= 2431 — Ww) ln 一 za) AV, — (1 + un) (n — ne)/2) 
在 条 件 {& = 各, 一 uw:W 二 w,) 之 下 的 条 件 密度 , 则 当 m->oo 时 ， 
有 
sup{|f Ou) — Pt) | tua E Last © R'}— 0, (1.45) 
此 处 PO) = (2r) exp(—2?/2). 
现 将 方程 (1. 36) 写 为 
Zonc, — a) H nW, +V, — na=0, (1.46) 


WEER as REA V, 值 使 (1. 46) 成 立 ,把 这 个 值 记 为 
V.(a) ,显然 , 当 a 在 开 区 间 (& ,41) 内 增加 时 ,Va) 线 性 地 增加 ， 
而 当 a 由 一 0 变 到 十 0 时 ,V,《a) 有 跳 路 2, 由 此 可 知 ,车 

V, E VE — 0), VE +0) (VE (1.47) 
则 方程 (1. 46) 无 解 . (1.47) 中 的 区 间 长 度 为 2, 且 对 不 同 的 i, 所 得 
的 区 间 没 有 公共 点 . 当 a 由 6, 上 升 到 名 时 ,a 至 少 穿 过 2V 一 3 个 
6. 记 
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D, =o LOCE, — 0),V.8 十 0)) — VE) 
则 D, 的 Lebesgue WE 1D, | >22 n 一 3). 下 证 :在 
En © Labi, © Leer fl We E Las (1. 48) 
的 条 件 下 ,有 
D, C [3n/8 — 210m /4 — 5,3n/8 + 947/4]. (1.49) 
EXE ,在 (1. 48) 成 立时 ,DD, 中 和 任 一 点 不 小 于 
(na 一 (n/2 十 VD)W。 


He 


一 >)sgn(6 — E) levees fm 全 
二 


=n(1/2 — 2/ Sn) — (n/2+0n)0/4 + 2/ Sn) 
— (n — an/2—-Vn +1) 
2B 3n/8 — 21/0 /4 一 5. 
类 似 地 ,在 条 件 (1. 4892 FD, 中 任 一 点 不 大 于 


(na (an/2+ Vn W, — Dysga, — £p) le- trt w mii oe 


=n/2— /2 + An) tn)’ 
—(n—2[n/2+Vn]j+1) 
<3n/8+9/Sn/4. 
这 证 明了 (1. 49). 
现在 计算 在 条 件 (1. 48) 及 VED, 之 下 1Q,| 的 最 大 值 , 对 充 
分 大 的 ,有 
[IQ.| SE2V A/D n/2 — Vn) 6S < 90. 
G. 50) 
iB C=(Q,(V.) VE D,} PIC IIE C fy Lebesgue 测度 
由 |D, | 22(2/n —3)23Vn , 当 n 充 分 大 时 , 知 
[Cl > (a — nD? |D,| > 3. (1.51) 
总 结 以 上 讨论 ,可 知 当 充分 大 时 ,在 条 件 (1. 48) 之 下 ,一 致 地 有 
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(d, WO. 44): 
a. | Feudi > | godi — | fern) — golde. 
(1, 52) 
根据 (1. 45), LAIR nokt KAFO 至 于 第 项， 
由 《1.50) 知 CCC--90,90) , 故 由 (1.51) 得 
f pd >| Pdt = 2h > 0. (1.53) 
: si 


由 (1.52) 和 (1. 5A, FESPA RIEA RIE ta © Lu rten € Laz 
和 wE Lah Orsus w) — BAL 
d, =h (1.54) 

成 立 , 根 据 (1. 38), 有 

A NAM BCE, © Lads, © 了 2 © Let 1.55) 
最 后 ,由 (1. 39), (1. 54) 和 (1.55), 得 到 

lim inf P(E.) > hg > 0. 

于 是 完成 了 (1. 34) 的 证 明 . i 
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M 估计 的 弱 相 合 性 


考虑 线性 模型 (1. 1). cB) Ac 的 一 个 已 知 函 数 ,例如 B。 
BSB 的 一 个 指定 分 量 或 Bo 的 一 个 线性 函数 a p 等 . 其次, 设 
TET Y YR cB) Mail. 若 在 某 种 意义 上 , 当 样本 
E nokt, T, 收敛 于 被 估计 的 (Bo) UP 了 ,为 c(Bo? 的 相合 估 
计 , 或 说 T, 有 相合 性 . 在 统计 学 中 , 常 考虑 的 收 合意 义 有 依 概 率 收 


RGB T, BORT, —re(Ba)in pr. )、 以 概率 1 KARI 


SUF WR WCOR GAH Trelha sA r BYE WER GRIN Ta o> 
(Bo) Bll E || T,—c(Bo) 1 一 0) 等 ,在 这 些 意义 下 的 相合 性 分 别称 
为 弱 相 合 、 强 相 会 及 7 阶 起 相合 .如 所 周知 ,由 后 两 种 相合 性 可 推 
HBAS BERAZ MEASAR. 由 于 弱 相合 是 最 基本 类 型 
的 相合 性 ,在 本 书 中 常 把 弱 相合 简称 为 相合 

要 注意 的 是 ,2 未 知 ,而 只 知道 它 属于 Re 的 某 一 个 于 集 B. 
随机 误差 蜀 (e ,es,…) 的 分 布 一 般 也 不 知道 ,而 只 知道 它 属 于 某 分 
AF. 因此 ,无 论 在 什么 意义 下 说 了 .为 c(p,) 的 相合 估计 ,都 是 
HAE Tc Ba) BHT) RE BB erent H 多 中 的 任 一 
分 布 时 都 成 立 才 行 . 

本 章 及 下 一 章 的 主题 是 讨论 BM M 估计 A. 的 相合 性 问题 , 
由于 内 容 较 多 且 方 法 上 有 差异 , 故 把 弱 相合 与 强 相合 分 别 在 本 章 
及 下 一 章 讨论 . 

先 证 明 一 个 简单 事实 :车 对 菜 一 个 特定 的 误差 列 (e1,e:,…)， 
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BEB Ynnn DRET Bo E hh RETF, 
下 同 ). 则 对 R? 中 任 一 点 p HAARD BBY a BB, 

事实 上 HORDIA 

H,(p) = Del, — a(R, — Bo) — zp B — Bo]; 
按 M fei EN BNE 
BAY, T Sada: Fait paagi) 
= BAY, ~ zB — Bode Yn — EaP — Bod iEn) 
+ (PB, — Po), 
如 果 参 数 真 值 为 B., 则 YY, 一 z P — po) =e, +a po 因此 ， 
B,CY,— zB Bo) 904 Yu za Bi ~—Bo) san 908 Oe) 
就 是 在 真 参数 值 为 Bo 时 的 M 估计 . 按 假 定 , 它 当 ”一 cc 时 收敛 于 
Bo. 由 此 及 上 式 即 知 
Bah see Ynya r) 4 neon RAF A. 

从 而 证 明了 上 述 论断 . 

这 个 事实 表明 : 当 我 们 讨论 B 的 M 估计 A 的 相合 性 时 ,总 
可 以 把 Bo 指定 为 某 一 特殊 值 , 例 如 Bo 一 0. 这 一 点 不 要 被 误会 为 参 
数 空间 是 无 关 紧 要 的 ,因为 在 M 估计 的 定义 中 涉及 到 它 . 在 (1. 5) 
中 , 若 参数 空间 为 B, 则 该 式 中 的 BER 要 改 为 BE B, 当 BA 
时 ,结果 可 以 不 同 , 虽然 如 此 ,从 相合 性 的 定义 中 不 难 明 白 : 若 B、 
Bi HAR, H BCB WHA B, 为 参数 空间 的 M 估计 为 相合 时 ， 
LAB, 为 参数 空间 的 M 估计 也 必 相 合 . 特别 是 , 当 以 R 为 参数 空 
间 的 M 估计 为 相合 时 ,对 任何 开 集 BCR’. B 为 参数 空间 的 MM 
估计 必 相合 , 这 就 是 在 定义 M 估计 中 , 常 取 玉 ' 为 参数 空间 的 原 
因 . 

但 对 (ei,e:,…) 的 分 布 则 不 同 , 对 .多 中 某 些 分 布 T。 AF 
Bo, 并 不 保证 对 多 中 其 他 的 分 布 也 如 此 . 只 要 在 F 中 能 找到 一 
个 分 布下 ,使 当 (eyez,…) 有 分 布 严 时 ,T. 一 5 不 成 立 , 则 T, 就 没 
有 相合 性 . 在 考察 相合 性 的 必要 条 件 时 ,这 一 点 应 牢记 在 心 . 
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§2.1 基本 定理 及 有 关 问 题 


估计 的 相合 性 ,是 大 样本 理论 中 首位 的 ,讨论 最 多 、 最 受 重视 
的 一 个 问题 ,其 原因 大 致 有 两 条 :首先 ,有 相合 性 这 一 点 虽 不 能 说 
明 这 个 估计 怎么 好 ,但 一 个 估计 若 没有 相合 性 , 则 总 是 不 好 的 , 因 
为 如 果 不 论 样 本 量 多 么 大 ,估计 值 与 真 值 仍 有 较 大 的 可 能 出 现 显 
著 的 偏差 ,出 很 难 相信 在 样本 量 不 甚大 (一 般 应 用 中 多 是 如 此 ?时 ，, 
该 估计 会 有 良好 表现 . 故 通常 在 提出 一 个 估计 量 时 ,总 是 要 把 有 无 
相合 性 作为 一 个 考察 的 对 象 ,其 次 ,与 其 他 深层 的 大 样本 性 质 相 
比 , 相 合 性 的 要 求 最 低 ,更 有 可 能 在 较 弱 的 条 件 下 ,获得 深入 的 结 
果 . 但 是 ,也 正 因为 如 此 ,可 提出 的 问题 也 就 更 多 ,其 中 有 的 难度 很 
大 ,至 今 未 能 彻底 解决 ,甚至 进展 极 慢 . 

关于 M 佑 计 的 相合 性 问题 ,除了 LSE 这 个 特例 研究 得 较 早 
GAF 60 年 代 ) 并 得 出 较 完整 的 结果 以 外 ,对 另 一 个 重要 特例 
LADE 研究 得 也 较 多 ,但 起 步 较 晚 . 至 于 一 般 的 M 估计 的 相合 狂 ， 
Huber 在 其 1973 年 的 工作 中 已 有 研究 ,以 后 陆续 发 表 了 一 些 论文 
(例如 文献 [66] 等 ) ,都 涉及 这 个 问题 . 但 综观 在 这 些 工 作 中 ,所 提 
的 条 件 过 于 繁多 ,因而 还 只 能 认为 是 一 个 初步 的 研究 . 直到 1993 
年 , 赵 林 城 等 发 表 了 文献 [69], 对 为止 时 M 估计 的 相合 性 提出 
了 一 个 形式 简单 且 很 弱 的 充分 条 件 ,本 节 的 目的 是 介绍 这 个 基本 
结果 ,并 讨论 若 后 有 关 的 问题 , 因 其 证 明 过 于 复杂 ,为 不 打 断 论述 ， 
故 放 到 本 章 § 2, 2 中 . 

一 、 基 本 定理 的 表述 

考虑 线性 模型 (1. 1), 设 p 为 R 上 的 非 单调 的 凸 函数 , 则 控 
(1. 5) 式 定义 的 Bo 的 M 估计 应 存在 . 仍 如 前 ,以 更 -和 更 + 分 别 记 
Pp 的 左 、 右 导数 . 

定理 2.1 设 在 模型 (1.1) 中 随机 误差 。.,e:,… 为 iid., 又 存在 
函数 更 ,满足 (1, 17) 以 及 以 下 诸 条 件 : 

1° E¥(e,)=0. 
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2° 存在 常数 co>>0,4A>0, 使 


[EW leitu) | Peolulslul<a. (2.1) 
3° 存在 常数 4>0, 使 
EW lea AKo, (2,2) 
ES, Saat tz.z E] 
limS 一 0 (2,3) 


时 ,6. 8 Bo 的 相合 估计 . 

注 2.1 条 件 (2.3) 隐 含 了 S, 4n 充分 大 时 满 秩 的 要 求 ,这 
相当 于 要 求 矩 阵 (z;…z,) 有 秩 户 ,这 是 必要 的 ,否则 ,po 为 不 可 佑 
if. 

注 2.2 条 件 (2.1) 包 含 了 当 O< |u| <A}. EW Ce +u) 40. 
把 这 与 1" 结 合 , 并 注意 到 的 非 降 性 , 即 知 EW +a) >0 Che 
>>0)5EE(e 十 四 <0 ( 当 x<0). 根 据 定 理 1.4, 这 保证 了 条 件 
(1. 9) 满 足 , 于 此 可 以 看 到 条 件 1'、2°* 的 统计 意义 之 所 在 . 但 这 里 还 
有 一 个 问题 :定理 1. 4 中 的 条 件 (1. 22) 要 求 对 一 切 : 关 0 满足 ,而 
本 定理 的 条 件 LAER. 22) 当 0< fe | <A 时 满足 .对 这 问题 解 
释 如 下 : 若 (1. 22) 只 在 一 个 有 限 的 区 间 |t| 二 4 满足 , 则 可 以 证 明 : 
由 《1.19) 定 义 的 函数 g HE | <A 内 有 意义 ,而 在 lt| 之 4 可 以 无 
意义 或 为 士 co. 这 时 ,只 要 条 件 (1. 20) 满 足 , 仍 可 证 明 : 在 g 有 意 
义 的 范围 内 , 它 以 0 点 为 其 唯一 最 小 值 点 . 

条 件 (2.1) 比 为 了 保证 满足 (1. 9) 所 需要 的 条 件 多 一 些 ,其 直 
观 意义 可 解释 如 下 : 暂 设 

RO) = Eple +) = 三 ve + dF) 
FEE Fe, 的 分 布 ) 且 可 对 :在 积分 号 下 两 次 求 导 , 则 有 
wr) = Ww dF Cu). 


WRO. DMB Wee C4 ul <A). ZA F ARB, W Atit 
非 负 , 故 只 要 知道 PC|e1<4)>0, 就 有 到 (0)>>0. ATTY [2 | +9 
时 ,有 (2) 一 A(0) 只 是 二 阶 而 非 更 高 阶 的 无 穷 小 . 4A) 一 h(0) 有 更 
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高 阶 的 无 穷 小 时 ,就 模糊 了 :=0 是 h(z) 的 唯一 最 小 点 的 特性 ,而 
这 一 特性 是 相合 性 得 以 成 立 的 关键 所 在 . 这 样 ,就 给 了 这 个 统计 意 
义 不 其 明确 的 条 件 以 一 个 直观 的 解释 了 . 当然 ,这 不 能 代 雹 严格 的 
数学 分 析 . 在 后 面 我 们 还 要 讲 到 这 个 问题 . 

注 2.3 KEDIA 9) 满 足 与 否 完全 尤 关 . 在 p(w) 一 w* 
BD LSE 的 场合 ,这 一 条 件 相当 于 要 求 e 的 方差 存在 . 在 早期 关于 
大 数 定律 的 论证 中 ,要 求 方差 有 限 . 但 后 来 证 明了 至 少 在 iid. 的 场 
合 ,这 一 条 件 实 属 多 余 , 因此 ,也 可 以 提出 问题 :条 件 (2. 2) 可 否 去 
掉 或 减轻 呢 ? 我 们 将 在 8 2. 3 第 一 段 中 回答 这 个 问题 . 

在 已 发 表 的 文献 中 ,与 定理 2. 1 最 接近 的 结果 是 文献 [67] 的 
定理 2, 1, 其 中 考虑 线性 模型 (1. 1) ,并 用 (1. 30) 899 A. 作为 8 的 
好 估计 ,其 中 关于 {z} 的 条 件 就 是 (2. 3). 对 {te} 和 更 的 要 求 是 ， 

CL) elyel， H iid.; 

(2) Y 

(3) E¥(e,)=0; 

(4) EP le) <0; 

O 存在 常数 c>0.d>0, 使 

P(le|<c)>0, 
inf {2 (P (u+z)— P lu)) : 0<z|<cy|ul<a}>0. 

在 这 些 条 件 中 ,(1)~(4) 在 定理 2.1 的 假定 中 也 有 , 且 此 处 的 条 件 
(4) 比 (2.2) 还 稍 弱 一 点 . 但 是 ,这 些 条 件 不 能 保证 (1. 30) 有 解 . 事 
实 上 ,(1, 31) 定 义 的 入 适合 这 些 条 件 ,但 (1. 30) 并 不 以 概率 1 有 
解 ,为 了 使 (1. 30) 保 证 有 解 , 须 增加 假定 多 处 处 连续 .这 等 于 要 求 
在 定理 2. 1 PRE p 处 处 连续 可 导 . 因而 排除 了 不 少 重要 的 情况 ， 
例如 LADE. 另外 ,此 处 的 条 件 (5) 对 应 于 (2. 1), 但 远 比 (2.1) 为 
强 , 例 如 按 条 件 (5),p 在 0 点 的 某 一 邻 域内 必须 是 严格 凸 的 . 这 一 
条 件 也 排除 了 LADE. 

顺便 指出 ,C. R. Rao 和 本 书 作者 之 一 在 1992 年 发 表 了 论文 
[56], 其 中 对 由 方程 (1. 30) 所 决定 的 M 估计 包 , 或 更 一 般 地 ,对 任 
何 满足 条 件 : 


$21 基本 定理 及 有 关 问 题 -29> 


[SPREY Yah 0 4 aoo) 

的 把, 当 多 非 降 时 ,及 的 相合 性 可 在 与 基本 定理 2. 1 同样 的 条 件 
下 得 到 ,当然 ,在 此 仍 须 考虑 A. 的 存在 问题 . 

定理 2. 1 可 略 加 推广 为 下 面 的 形式 ， 

定理 2.2 考虑 线性 模型 

Yu = tubo te: UKIRI), (2.4) 

设 eye, 独立 ,定理 2.1 REL ~ SMT e 成 立 , 且 其 中 的 
常数 c 和 4 都 可 以 不 依赖 i 取得 . 记 S, = Ea Em H H EnTra s M) 
《2. 3) 成 立时 ,有 


Be — Bo 0 (no0), (2.5) 

Hab A, 指 在 模型 (2. 4? 中 的 入 ,用 函数 所 作 的 M 估计 - 

细 察 定理 2. 1 的 证 明 ( 见 § 2. 2) ,不 难看 出 ,只 须 对 该 证 明 作 
些微 小 的 铸 改 , 即 可 证 明 本 定理 ， 

二 、LADE 的 相合 性 

dh p 产生 的 M 估计 , 除 LSE 外 ,最 重要 的 无 疑 要 数 
LADE ,有 上 鉴于 此 ,值得 把 定理 2.1 用 于 这 个 特 钢 所 得 到 的 结果 单 
独 列 为 一 条 定理 : 

定理 2.3 设 在 模型 (1.1) 中 ,el,e;,… 为 iid. ,有 中 位 数 0. 次 
Re 的 分 布 函数 下 满足 条 件 : 

|1— 2F(@)| > clu] C4 lul <4), 

其 中 c>0,4>0 都 是 常数 ， 则 当 (2. 3) 式 成 立时 ， HY LADE A, 
是 相合 的 . 

为 了 证 明 此 定理 ,只 须 取 xEf 一 1,1] ,定义 

sgn(u), 4X0; 

“le, u=0, 
使 EW(e)=0. 这 种 a 的 存在 由 med(ei) 一 0 得 出 . 不 难看 出 :在 本 
定理 对 下 的 假定 之 下 , 当 这 样 选择 a 时 ,所 定义 的 更 满足 定理 2.1 
的 条 件 1°~3°. 

这 个 结果 确实 可 视 为 关于 LADE 相合 性 研究 中 的 一 个 突出 


Vt) 
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成 就 ,因为 自 70 年 代 以 来 ,有 不 少 统计 学 者 都 在 这 个 问题 上 下 过 功 
夫 , 发 表 了 一 些 结果 ,但 是 其 中 个 别 的 在 证 明 中 有 不 可 补救 的 漏 
洞 , 而 一 般 的 又 要 求 条 件 过 强 , 例 如 在 。 的 公共 分 布 上 ,有 的 假定 
在 0 的 邻 域内 有 非 0 的 连续 导数 ,而 本 定理 甚至 不 须眉 在 0 点 连续 . 
对 于 {xz,), 有 的 假定 {zx,} 有 界 , 当 woo 时 ,S,/n 收敛 于 一 个 正定 方 
阵 等 等 . 直到 1990 年 ,包括 本 书 作者 在 内 的 几 位 作者 发 表 了 论文 
[4j, 才 对 这 一 问题 作 了 比较 实质 性 的 改进 . 他 们 在 tax zoSs e0 
的 条 件 下 证 明了 LADE 的 相合 性 (顺便 指出 :虽然 在 文献 [4] 中 也 
假定 了 公共 分 布下 在 0 点 附近 有 连续 导数 ,但 这 是 为 了 证 明 
LADE 的 渐 近 正 态 性 ( 见 第 4 章 ) 而 设 的 ,对 相合 性 并 无 必要 ). 但 此 
条 件 仍 比 (2. 3) 强 . 1991 年 Pollard 在 文献 [50] 中 基本 上 重复 了 文 
献 [4] 中 的 工作 . 

三 、 线 性 函数 M 估计 的 相合 性 

设 cAOW p EER c Roby M 估计 定义 为 c'fb,, 在 定理 2. 1 的 
KEE Be 为 相合 , 故 ci 所 当然 相合 . 但 由 于 条 件 (2. 3) 保 证 了 一 
切线 性 估计 都 相合 ,其 要 求 可 能 过 多 了 ,事实 上 的 确 如 此 ， 

定理 2.4 HERAA. DF erez, iid WB, id Bolt 
用 凸 2 作 出 的 M 估计 , 且 满 足 定理 2. 1 的 条 件 1 一 3". 则 当 

limc'Sxic = 0 (2.6) 
时 ,cB Hc RAE IT. 

LSE 的 情况 ,这 个 结果 是 周知 的 , 且 容 易 证 明 , 它 根据 所 
无 偏 , 且 Var Cc! B,) = Var(ei)c'Sric 一 0( 这 个 证 明 只 须 {e,} 满 足 
Gauss-Markov 条 件 即 可 ,不 须 iid. ). 在 一 般 M 估计 的 情况 ,证 明 
也 不 难 ,但 不 明显 , 以 下 进行 证 明 : 记 


Sr [: * ] ， 
«x B, 
其 中 B, 为 p 一 1 阶 方 阵 . 找 常数 AL 0, E ALB. 0. Bees lar 
ch) 的 第 一 元 ci 天 0, 作 户 阶 方 阵 
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eee 
0 
Q = | tat]? 
0 
这 里 aH p 一 1 阶 单位 阵 , 令 
Bro = QBo, zh = QT USi<n), 


而 把 模型 (1. 1) 写 为 (2. 4) 的 形状 , 记 I, = Dora M 


3, = QSA ŠE = QS7'Q,, 
按 Q, 的 定义 , 易 见 


由 天 B.0 及 (2.6) 知 和 -=0, 故 依 定理 2. 2, 应 有 房 一 Bo- mont 
立 ,以 为 (2.4) 之 下 B, 的 用 p 作 出 的 M 估计 , 易 见 B。 的 第 一 元 为 
epa Ti B= Qh. RREH c Aa BAG e By oc’ po 本 定理 得 
证 1 

四 、 自 变量 为 随机 的 情况 

RE p RARR X 和 一 维 因 变 量 了 ,以 YX TAE X BLY 
的 条 件 分 布 . 假定 此 条 件 分 布 的 基 一 个 特征 是 X 的 线性 函数 a 十 
X PoE 


die * 
x kB, | 


e =X, Y) =Y — (a + X' R) 
AMY =a, t+ X' Bote MCX YNE n KELME IAEE 
XY s OXY.) ,在 形式 上 得 到 -个 与 (1. 2) 一 样 的 模型 ; 
YisaqtXPte A<icnn > lye = e(Xs¥)s 
(2.7) 
RYD CR YA iid. ,其 公共 分 布 就 是 (X,Y) 的 分 布 . EL 
函数 p 用 以 作 模型 (2.7) 中 wm 与 8 的 M 估计 如, 和. 关于 它们 的 相 
合 性 ,根据 定理 2. 2, 容 易 证 明 以 下 的 结果 . 
定理 2.5 Wes 记 一 随机 变量 ,其 分 布 与 a(X,Y)1X 相同 , 设 
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满足 以 下 两 条 件 ; 

1° 你 满足 定理 2. 1 的 条 件 1"~3°, 其 中 的 常数 与 六 无 关 . 

2° X 的 分 布 不 退化 到 任 一 p 一 1 维 超 平面 上 , 则 a, 8, 分 别 是 
ao、\Bo 的 相合 估计 . 

证 由 定理 的 假设 ,根据 定理 2. 2, 只 须 证 明 (2. 3) 以 概率 1 成 
立 , 其 中 5, 二 WW 十 … 十 WsW, 而 W, = C, Xi). 然后 在 而 定 
Xi ,X:，…* 这 一 条 件 下 去 考虑 模型 (2. 7) 即 可 . 

为 证 (2. 3), 记 

W = (LX), 
把 如 上 定义 的 多 视 为 一 个 p 十 1 维 随机 向 量 , 则 其 支撑 K 不 能 全 
WE R*+' 中 一 个 过 原点 的 超 平 面 上 . 因为 车 不 然 , 则 存在 ERM 
BER', 使 a.8 不 全 为 0, 且 
Pat X'B=0) =]. 
这 与 假定 2" 矛 盾 . 

A T. 记 尺 入 :中 以 原点 为 中 心 ,r 为 半径 的 球 . 由 上 述 知 , 当 > 
充分 大 时 ,KK 门 T, 不 能 落 在 R 和 :中 任 一 过 原点 的 p 维 超 平面 上 . 
因此 , 若 定义 

W = W/max(1,|Wl/r), 
MU WAYS} AAS HB) ROP ESAS p 维 超 平 面 上 ,再 
加 上 部 有 界 , 即 知 EE( 郭 部 ') 存 在 , 且 为 正定 的 . 因此 ,车 记 


W, = W/max GW/D ,一 SW, 


RUB AREA S/n EWW')> 0,0. s.. 由 此 推出 
35+ das. (2.8) 
(iW, He WWW, Bi SWS. He ACS BAG), 
将 此 与 (2. 8) 结 合 , 即 得 (2. 3). 从 而 定理 得 证 . 1 
定理 的 假定 2* 是 必要 的 . 否则 ,8 为 不 可 估 . 
本 定理 条 件 的 优点 在 于 没有 对 X.Y (或 其 函数 ) 的 矩 提出 要 
求 . 但 在 条 件 1" 中 “与 X 无 关 ” 的 要 求 不 好 验证 . 一 个 在 实用 上 可 
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以 想象 的 情况 如 下 :因为 变量 了 由 两 部 分 构成 :特征 oo 十 X'B8 及 
误差 e, 后 者 与 X 独立 , 且 其 分 布 不 依 束 于 ,这 时 ,定理 的 条 件 等 
TER e 满足 定理 2. 1 的 1"~3*. 

五 、 横 型 含 常数 项 时 

设 有 线性 模型 (1. 2) ,由 于 (1, 2) 只 是 (1. 1) 的 一 个 特例 , 故 wm、 
p 的 M 估 计 色 和 访 的 弱 相 合 问题 也 适用 定理 2. 1 一 2, 4. 这 里 我 
们 要 证 明 :对 这 一 模型 条 件 (2. 3 可 表 为 一 种 等 价 形式 ,可 能 有 其 
方便 之 处 . 

对 模型 (1. 2), 有 

S, = Dfi) ae = | 7 


NEn R 
+ So = Dax, 
Sw i 


BBE DIX Mn, BiB T= Dye 2) (eA OO 
求 道 "的 公式 ,可 得 


[一 Sa 
Se e 
因此 ,条 件 (2. 3) 等 价 于 以 下 两 式 同时 成 立 : 
lim7 ;一 0， (2.9) 
lim(n — nSz) = 0. (2.10) 


有 趣 的 是 :(2. 10) 是 (2. 9) 的 后 果 , 因 此 根据 定理 2. 1, 在 其 中 
的 条 件 1* 一 3* 满 足 的 前 担 下 ,由 (2. 9) 成 立 可 推出 如 ,6. 都 是 弱 相 
REX A 的 弱 相 合 可 由 定理 2, 4 得 出 ;但 a, 的 相合 性 , 则 有 赖 于 
Ba (2. 9) HEH (2. 10). 
为 了 证 明 , 注 意 : 因 S。 一 T, 十 nzsz, 有 ( 见 文献 L54],p. 33): 
a = To) — nT RET S/O 十 nT E). 
由 此 得 出 


(nS FSF.) =n +2,T Ea 
因此 ,要 证 明 (2. 10), 只 须 证 明 
limzT z, = 0. (2.11) 
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为 证 上 式 , 先 证 以 下 的 预备 事实 ; 设 C 是 一 个 由 某 些 无 穷 实 


BA a= (arn RRR. E a= Dyas/ny oh (a) = Daa, — 
2.) 1G 满足 以 下 条 件 ; 

Q) sup{|a|*a@EG}<oo (i=1,2;); 

(2) inf(o2(a)1aEG}—+oo (nr), 
则 对 G 中 的 a 一 致 地 有 下 式 成 立 : 

ai/o3(a) + 0. (2.12) 
证 明 如 下 : 任 给 >0, 求 自然 数 mm, 使 4/m<<e. 其 次 找 充分 大 的 nos 
ME on (a) Ve >>2sup{flal:acGisism). 对 任 取 的 aECG, 用 
n>max(noym) 计算 到 /ai(ae), 分 两 种 情况 : E a<oi(ade, 则 
ajala <es # |4,|>0,(a) VE , 则 根据 mo 的 取 法 及 当 n 之 no 时 ， 
ok(a) 之 ouo(ae), 有 
a (a) > D,a — a, > Dda | — Lae /2)? = mla, |/4. 

tt a/o (a) <4/m<e. h e> OR (ERHER min 45 a 无 关 , 即 得 
《2.12) 对 aEG 一 致 成 立 . 

现 设 

G 一 (maza)sllal = 1}, 
以 上 条 件 (1) 自 然 成 立 ;条 件 (2) 由 (2.9) 推 出. 因为 
a's, = d'z,’ = a'T,a, 

故 其 在 lal=1 上 的 最 小 值 ( 即 T, 的 最 小 特征 根 ACT. Fl nooi 
趋向 于 无 穷 . 

按 上 述 预 备 事实 , 对 满足 条 件 la.|= 1 的 任 一 列 {fa-} ,有 

(a,%,)*/a,T,a, > 0. 

取 as = Ti E/T l h ERR E C 1D ( 若 Tz, = 0, 则 
TTi 区 ,一 0, 这 对 (2. 11) 的 成 立 是 无 害 的 ). 

HAT, 只 有 Zp 阶 ,而 直接 在 模型 (1.2) 中 用 条 件 (2. 3) 所 要 
验证 的 方 阵 为 p 十 1 阶 , 因 此 用 (2. 9) 可 能 是 很 方便 的 . 这 个 形式 的 
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意义 是 ;从 其 更 易 解释 条 件 (2. 3) 的 统计 意义 , 例如 ,以 p=1 为 
一 维 ) 的 情况 而 言 ,条 件 (2. 9) 是 
lim > (a, — 2)? = 00, 

这 个 条 件 的 含义 是 :z; RABE TRE ERE a z) AE. 这 一 
要 求 从 统计 上 说 是 很 好 理解 的 ; 若 xz; 过 于 聚集 在 某 点 a 附近 , 则 
回归 直线 犹如 支 在 Ca,ao 十 aB。) 点 处 的 一 支 杠杆 . 在 a 点 近 傍 的 zx 
处 的 观察 值 x 只 要 稍 有 误差 ,就 等 于 在 支点 附近 拨 动 这 根 杆 , 则 
将 引起 回归 线 斜 率 的 显著 变动 . 因此 ,在 这 种 情况 下 ,回归 参数 难 
于 有 较 精 的 估计 ,从 列 也 就 难以 达到 相合 的 要 求 ， 

类 似 地 ,在 多 维 的 情况 , (2, DAS FER zx; 不 能 过 于 集中 在 
某 点 (如 云 ) 附 近 , 且 其 方向 不 能 过 于 偏 在 一 了 天. 就 是 说 ,除了 lz 一 
ZI (i 之 1) 有 是 够 的 大 小 外 ,其 方向 (在 R 中 单位 球 上 的 投影 ) 不 
能 局 限 在 一 个 过 小 的 空间 角度 内 ,因为 这 一 情况 相当 于 近似 的 共 
线性 ,使 估计 量 的 精度 大 受 影响 

基本 定理 2. 1 讲 的 是 p 为 凸 的 情形 ;对 o 为 非 凸 的 情况 ,在 下 
一 章 中 考虑 A 的 强 相合 问题 时 有 讨论 , 目前 在 文献 中 ,还 没有 见 
到 过 p 为 非 凸 时 的 A, BMS HBR. 
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基本 定理 的 证 明 所 用 的 工具 是 初等 的 ,但 推理 很 繁 , 初 读 时 可 
暂时 略 过 ,并 不 影响 对 后 文 的 理解 、 
令 
B =S ， zu 一 Sr OLiS), 
而 把 模型 (1. 1) 写 为 
Y, = zB te (<i<an2l). (2.13) 


注意 ,在 此 有 之 ,ruzu 一 5. 以 所 记 模 型 (2. 13) 中 的 B, 的 (使 用 2 
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作出 的 )M fit UWL B= Si? B18. FECL. DPH 如 的 M 估计 ， 
由 于 Sro, AUE & 相合 ,只 须 证 明 

b, — Ba =O). (2.14) 
不 失 普 遍 性 ,不 妨 设 B=0. 这 时 2,,=0, H Vise. WU i R 中 的 
单位 球面 . 定义 


D,(6)= D, ple: — tub) — pled) 
Ee 


=> [ve 十 bdt， 
后 一 等 式 由 于 p 为 凸 , 故 在 任意 有 界 区 间 上 为 绝对 连续 的 . > 
DOD = DUN = $) He, + OMe, (2.18) 


Mt YEU, L>0. 因为 DOF BAR, HEL. 3 的 3" 及 及 ,的 
定义 ,有 
PBe > L) < P(infDOL) <0). (2.16) 
把 局 分 解 为 两 个 非 交 集 的 并 AUA, 由 D,(8) 的 凸 性 容易 看 出 ;车 
L,>0,L,>0, if L>max(Z,.L2), E 
infDOL,) > 9, inf DO») >o, 


SUA inf D7,L)>0. 因此 有 
(infD(,L) <0} 


c {infDO”, L) <0} 
U {inf DO, L) < 0}. (2.17) 


ree 
这 个 关系 是 整个 证 明 的 出 发 点 
设 8>0,6>>0,0<7<1. 定义 
J= {jn > T= {ln —J, 
(2. 18) 
SB) = De ptete = D zutal eul SS), (2.19) 


<1 


A= {Y: 7E U, TSON Ba), A=U—A, (2.20) 
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r= {jI}, [2,7 |B}, 

B={1, 2) —1, 《2. 21》 
由 Y 非 降 及 定理 2. 1 的 条 件 1*、.2"， 易 见 更 (一 co)<0< 更 (co). 故 
TREK, fi W(—00) << -K<K<W(09). 

给 定 >0, 找 &, 使 
O<e < 2 (cp) eK, (2. 22) 

此 处 己见 (2.2). 把 UU 分 为 MM 个 非 交 集 台 ，,…, 避 yw OSE BAEC, 
的 直径 不 超过 e ,再 取 eet 

0 <e <min(1/2,2-"(Me,)“'K"e), 


0<e, <min(1,(6p)""e). (2. 23) 
EU DN PEERY Vy 的 并 ,使 每 个 六 的 直径 不 超过 
s/p. e 
Li = FNP) coe), ONES A/a, (2.24) 
m = [p/6*]( 不 超过 2/7 的 最 大 整数 ). (2. 25) 
再 取 o>0 充 分 大 ,使 
P(E le, +a) SK) < (bm) 'e, 
Pl(¥Y(e — @) >— K) < (16m) o's, (2. 26) 
RE R L tE 
0<7< min? Vm), (29m ei) Ke), (2.27) 
L, > max(2a/9,2’am Y ci (Ke~ ). (2. 28) 
上 面 引进 了 许多 常数 ,其 关系 错综复杂 . 为 了 明确 其 间 没有 和 矛盾， 
小 结 如 下 : 


covc1、4: 由 定理 假定 中 给 出 ， 

Kit W(—00) <—K<K<W (oo) RE. 
:给 定 ,e>>0,6: 由 (2. 22) 给 定 . 

MM: 由 & 定 出 的 U 的 分 割 数 . 

6:8 M\Kye ee h ee. 

Ni fh 638 HAY U 的 分 割 数 . 
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Lh N.e ceo. LAH. 
mf ô gH. 

ah me K EH. 

PB m,e K e EE. 

Lah agmen K A eH. 

HER YEA MWE, (2.1D P 的 非 降 性 ,有 


DA LI= Df" we t+ — Yedda 
— Liaw ee) 


wÈ 
o 


> Darl We +0 = vend 


-L Save. (2, 29) 
i 
FRE VINA ASIN) Z HES HW Vie Vn,» iF 
LY, ={(LYVEV BED F Lies/p RH RTA 
Le/p HAW p 维 超 立方 体 T, FEB 的 直径 不 超过 
Lap <he AKIN). EV PRE-K Y 
CSN) ,固定 一 个 妃 有 三 种 可 能 的 情况 ; 
1 一 zB 之 0 对 一 切 BET, 由 于 Tj 是 闭 的 ,可 找到 ET, 
使 
— Tapy = inf{— rupp E Ti} > O. 
2 —ruPSOM— BET, 这 时 可 找到 By€E Tj, 使 
一 zsp = sup{— zabt E T} <0. 
3” 其 他 情况 .这 时 可 找到 ByET,, 使 2.8,=0. 
ic + coe 
G@)= EW, +t) GER), (2. 30) 
Blest)= Ve; +1) — Ve) — GO). (2,31) 
HY 的 非 降 性 ,及 上 述 8, 的 选择 ,得 
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TEN 
mDr | weto vea 


> ink, Darf Me +0 — Ye 


ISIEN, 
; a 
> i De, Godt 
-raba 
T idn, Dil; Ble ,dt 
BAF IB, Lr7j<Ly H C2 23) 并 注意 上? 一 1, 有 
[Sd = Wier arn?) | 


< LE + de Dylen l? 


4 (2. 32) 


= Li + e)esp < 3Liesp < Tte/2. (2. 33) 


由 于 Bu 的 选择 ,有 | 一 zspo| 委 |Pznz)|. 再 由 (2.18? 及 (2. 24, 得 
| = zB SIL SLO <A, HIE IIS ISM, 
(2. 34) 
由 (2,1), 有 
ih i 
[Gwar > canh, 12. 
再 利用 (2. 34) ,并 注意 由 (2. 19), 02. 20) 以 及 YE A 所 得 出 的 
Dier lant =S OW, Sa 
即 可 推出 
A sh A ‘ 
inf, Deer), ea Ben ink Dee el) /2 
2 eL ， int, ( Der (tu)? — 61/2) 
D colte, /4. (2. 35) 


H Ba 7< Le 
IBAS || Lig=Li+Lie<2k,» 
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故 Dies aah <4 lz 4p Li. 
注意 到 ED Ce, DEW (e421) -—We YA 
ron 2 
e| oea] 


< 


a Fis 
f a | EC¥le, +2) — Ye))d|. 
A i 


F iE Ja Wee SS, TD | eu Ay | CLS < A, 从而 对 区 间 
C> zuhal lenfa l IRR A 

EY le; + 1) — Ele) Y? S 2EY le; + t) + 2EW Ce) < der, 
式 中 的 ci 见 (2. 2) 式 . 故 有 
al 


o 


由 以 上 诸 式 ,得 到 


ore pe Pelee 


2 
COEN Le (eek GEJ). 


rl 


ee, 


Dr |S. A cood| > elie? | 
a 


< Saale) >); «Alf "Bee, wae)" 


m 


< Da Ceolan) D e (eB? 


< Shae tL pl S WaN plesL,) = e/4. 


= 

(2. 36) 
最 后 一 个 等 式 是 根据 (2. 24) 而 得 . 再 利用 (2. 2), (2. 24) 并 注意 到 
EW(e:) 二 0 及 el,e2,… 独 立 , 有 


P( L (Bs. (es) 


> col te,/2!) 


fi 
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. 2 
S Peole DE| D jaw ed) < Cele) pe 
各 
一 2-5N-Ie < e/4. (2. 37) 
H (2. 29), (2, 32) 及 (2. 35) ~ (2. 37), 得 
Plint DO,L) <0) < 8/2. (2. 38) 


现在 考虑 YE 在 的 情形 :由 <12, AR. 11DA. 20) 

1/2 > 6 > SOY =D) an)? 
MIRED (7771.49 Des > 1/2 HD 
记 集 了 所 含 元 兹 的 个 数 , 则 有 

P= Diz? Sew, 
a 


FH I< p/d? ee 
# (J) < [p/8?] = m( (2.25)). 
由 此 及 (2. 21) (2. 27) A 


1/2< Dest = Deans, HI + Dies ea" 
S Dm + mp < Dann, + 1/4 
最 后 一 个 不 等 式 根据 (2. 27) 而 得 . 由 此 式 得 


Drein, Y > 1/4. (2. 39) 

定义 事件 
A= Nery eto KI Ne {eo <—K}, (2.40) 
B={a2 ee) |<L:K/16}. (4D 


由 (2, 26), (2. 28) R# Sm, Hl 
PCAS U Bi) < 6/8 + PO@D),., [Me | > LK/16) 


<e/8 + 16a(L,K)'E( De, ve,) |) 


Se/8 + 16am Mc, (LK)! S €/8 + €/8 = €/4, 
(2, 42) 
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其 中 16am V ci (ER) -二 e/8 是 根据 (2. 28) 而 得 , 再 根据 
(2.28), 有 

Dalz | Lye GET). 
由 此 及 (2. 39) ,并 注意 到 © IEE BSS e E 4, 门 B, G= sn) 
同时 成 立时 ,有 
inf Sein) Wee; + de 


yea 


， l peaca 
> int Deans f 更 (ed + | 


”更 (ea 十 有 
DD 


angry 


o 
t 


> inf Se yn, K Lolan” — 0) — aD), | E 
yea i 


> inf >) esa K ole?) — Lalu? /2) — LK /16 
yew 


IL, K ink Desn 127l — L,K/16 
> 27LK inf Dn (240) — L:K/16 
kó 7 
> LK/8 一 L,K/16 = L,K/16. (2. 43) 
由 (2. 42), (2. 43) 得 


Lys 
inf Son, ye + Dd < 1K/16) < /4 


rex 


P 


(2.44) 
HY ERR Em Klan | <9 CHIE, A 
f ve, + ade > | wena 
之 一 | 更 (e)| GET). 
由 (2.2) 和 (2. 27) 得 


ea 


7 
P int Dems), Wee, + dt <— LK/32 


SPL Deg |W) | > LK/32) 


ah 


USI (Baa M ry 
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< 329K ED). [Wee | 

< 329K) EWE) 

329K Im Vc, Se /8. (2,45) 
对 于 YEA, 由 罗 的 非 降 性 ,有 


Eej re + de 


PTF] 
> Def wena 
2- La De Medea. (2, 46) 


BU UnB ČNA Tul PRERA REU G= 
1,… My) EEA) 
Sup sep VISE 


由 (2,2) 和 (2.22), 有 


P{ Sup, Supls | Eer ezu ~ 7,)| > LK /64) 


<P[|D re) > Keres) - 
< (644K "YE, zr 
S (2e,K-' Yop <e/16. (2.47) 


最 后 一 不 等 式 是 根据 (2. 22) 而 得 . 
因为 7Y,EL, 有 YS(0)Y,<a. 据 此 及 (2.2)、(2.23), 有 


P{ pF Die Bed 267, | > LK/64) 


My 
< D64AK YE 
im 


Dee ¥en, |? 


bl? 
< JLK Ve Y SON; < 2K- Mee < e/ 16, 


= 
(2. 48) 
由 (2, 46)~ (2. 48) ,得 
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r| inf Dye pf. vetoa- 1K32] <e/8. (2.49) 
ven * f 
由 (2. 15), (2. 44), (2, 459P C2. 49), 得 
P(inf DP, L <0) < ee. (2,50) 
EAS 


最 后 ,由 (2.16)、(2.17)、(2. 38) #1(2. 50) 418 

Pool > LL) <e, 4 L> max(L,,L,). 
这 就 证 明了 (2. 14)( 注 意 :已 设 P==0, 因 而 po 一 0), 如 前 所 述 , 这 
也 就 证 明了 当 n 一 oo 时 , 包 依 概率 收敛 于 B= 0. 定理 2.1 
WE. 1 
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如 果 说 定理 2. 1 对 p 为 同时 的 M 估计 所 的 弱 相 合 的 充分 条 
件 作 了 基本 的 解决 (当然 ,这 方面 也 还 可 以 提出 进一步 的 问题 , 例 
如 ,车 把 定理 2. 1 的 条 件 1"~3" 加 强 或 削弱 一 些 , 则 条 件 (2, 3) 也 应 
相应 地 有 所 变动 . 这 一 点 在 下 面 论 及 LSE 时 ,可 清楚 地 看 到 ), 则 
对 六 相合 的 必要 条 件 问题 ,除了 LSE 这 个 特例 以 外 ,至 今 所 得 的 
结果 很 少 . 本 节 将 对 现状 作 一 简略 的 介绍 . 由 于 问题 尚 在 发 展 过 程 
中 ,目前 所 得 的 结果 ( 除 LSE 外 ) 还 有 待 改进 ,而 证 明 又 颇 繁 复 ,所 
以 我 们 在 此 将 略 去 大 部 分 证 明 的 细节 . 

一 、 最 小 二 生 估 计 CLSE) 

LSE 是 M 估计 最 重要 的 特例 ,其 相合 性 条 件 问题 的 研究 也 最 
早 .最 初 考虑 的 情况 是 模型 (1. 1) 中 的 随机 误差 (61) 满足 Ee 一 0 G 
21 & Gauss-Markov( 缩 写 为 GM) 条 件 . 


14i=hs 
0, 当 i Ay. 
在 这 种 条 件 下 ,很 容易 证 明 Po 的 LSE £, 均 方 相合 (因而 为 弱 相 
合 ) 的 充分 条 件 是 (2. 3). 反面 的 问题 是 :在 Ee; 二 0 及 GM 条 件 下 ， 


Eee, = oô, 0< P Loo, ò, = 
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(2. 3) 是 否 为 LSE 相合 的 必要 条 件 的 问题 . 这 个 问题 首先 由 Dry- 
gas 在 1976 年 解决 了 ( 见 文献 [27]), 他 证 明了 (2. 3) 确 是 必要 的 . 
本 书 作 者 之 一 也 独立 地 给 出 了 男 一 个 证 明 ( 见 文献 [21]). 事实 上 
有 更 一 般 的 结果 :对 任何 常 向 量 c,c' Bo 的 LSE cA, 相合 的 充 要 条 
件 是 (2. 6). 

BRE ¢ 为 iid,， 则 可 得 到 如 下 更 一 般 的 结果 : 

定理 2. 6 设 在 模型 (1. 1) 中 ,误差 ey,es,… 为 iid.， 且 非 退 
Ak WI c! Bolt) LSE c' 8, 为 相合 时 , 必 有 (2. 6)， 

证 按 LSE 的 周知 的 公式 ,有 


CERVUS pony: 


一 cp tes,! Pre, 
气 


=c, + Dents 

式 中 cu 一 Sa 
于 是 由 cA 为 的 相合 估计 ,条 

SS 
由 对 {6 的 假定 ,根据 文献 [1] 的 引 理 2, 应 有 

Sd. (2.51) 

但 由 ce =e’ Sr, 知 多 

cue Sy ec 


由 此 及 (2, 51), 即 得 (2. 6) ,定理 证 毕 . 1 

这 个 结果 的 特异 之 处 在 于 并 未 假定 Ee: 一 0, 甚 至 连 e 的 期 望 
也 不 需 存 在 ,更 不 用 说 方差 了 . 这 个 结果 启发 我 们 提出 如 下 的 问 
题 :为 着 LSE f 为 相合 ,是 否 必须 要 求 “ 的 期 望 或 方差 存在 以 及 
e 的 期 望 是 否 必须 为 0 呢 ? 对 这 问题 的 回答 如 下 
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《1) 就 特例 而 言 ,存在 着 这 样 的 情况 .其 中 e 的 方差 甚至 期 
望 不 存在 ,但 8 为 相合 . 例如 取 p=1,z 二 zx; 二 … 二 1(p 为 位 置 参 
数 ), 则 根据 大 数 定律 ,只 要 为 iid. 且 Eea=0, W BAY LSE B £, 
三 (于 十 … 十 Y,)fr 为 Bo 的 相合 估计 ,而 无 须 e: 的 方差 有 限 . 又 如 
仍 取 p=1vz 一 (一 1)" GSD X iid, el 的 期 望 存在 ,但 不 必 
为 0, 则 A 仍 为 相合 的 . 最 后 , 取 思 二 1,e; 为 ids ey 的 分 布 为 
Cauchy 分 布 ,el 的 期 望 也 不 存在 . 取 e= pohy LSE 为 


B=| 2") “DY, = p+ Di) z ue 
因为 。 X Cauchy 分 布 ,有 MSE |¢;|'?<00 k 
E|( >) “Beal” <( >) Sellel” 


= (S) Sao G4 n> œ), 


这 证 明了 ({ 六 2 “Date. 0, Bit A. 为 相合 ， 
(2) 如 果 要 维持 (2. 3) 的 充分 性 , 则 在 e W id. 的 前 提 之 下 ， 
Ee, = OF Ee;<ce 这 两 个 条 件 一 个 也 不 可 缺少 . 即 可 以 证 明 以 下 定 
理 : 
定理 2.7 任 给 自然 数 之 1 及 一 列 iid. EH esere Ee: 
一 0 和 Ee:*< co 这 两 个 条 件 至 少 有 一 个 不 成 立 , 则 可 以 找到 一 列 p 
维 向 量 {zi} 满 足 (2. 3) ,但 在 线性 模型 ,==ziBo 十 e， AKK) 
下 ,Po 的 LSE 不 是 相合 的 . 

证 明 不 在 此 给 出 了 . 在 这 个 意义 上 可 以 说 ,为 了 使 (2. DRE 
为 充分 条 件 ,Ee, 二 0 和 Be;< co 这 两 个 条 件 都 不 可 减弱 . 

(3) 前 而 的 特 饮 已 表明 ;如 果 我 们 把 加 在 {x;} 上 的 条 件 收 紧 
些 , 则 为 名 相合 ,从 而 加 在 上 的 条 件 可 以 适当 减弱 . 对 一 个 重要 
情况 已 有 了 完满 的 结果 如 下 ， 

考虑 线性 模型 (1. 1) , 设 误差 e1,e,，,… 为 id.， 满足 条 件 

Ee, = 0, 0< Ble |" <0 (对 某 个 r E [1,2)). (2.52) 
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对 任 一 HEM LEE coc! BoA LSE 8, 有 形状 
eB, = xm 十 … 十 xy， 
HP une Soa RF cB, 的 相合 性 条 件 已 彻底 解决 了 ,把 Jum |， 
和 … [tim |B CB ARF eae Eo tinm 
定义 W, (n) = maxivies ， 


Va) = max Dee unl D tnp) |- 
jn | 把 


定理 2. 8 在 条 件 (2. SDZ FA 相合 的 充 要 条 件 为 :对 


1<r<2, 以 下 两 条 件 同时 成 立 ; 
Sz! Oy (2.53) 
W.(n) = 0G), (2. 54) 
对 r 一 1, 则 除 以 上 两 条 件 以 外 ,还 须 加 上 
Vin) =O). (2. 55) 


这 个 定理 的 证 明 很 繁 ,限于 篇 幅 , 此 处 不 给 出 了 . 应 当 指出 的 
是 ,必要 性 是 在 下 述 意义 下 而 言 的 : 若 所 提 的 条 件 不 全 成 立 , 则 必 
存在 -- 维 分 布 玉 ,满足 | zdF, 一 0, 0< f" lela, <o ,使 
如 在 模型 (1. 1) 中 误差 evez，… 为 iid.， 且 有 公共 分 布 Fo 时 ,c 碾 
不 依 概率 收敛 于 c' Bo. 必要 性 的 这 种 解释 ,在 本 章 引 言 部 分 的 末尾 
已 提 到 过 了 . 如 果 在 (2. 52) 中 + 二 2, 则 单 是 (2. 53) 这 个 条 件 就 构 
成 充 要 条 件 了 [ 且 必 要 部 分 还 有 更 确定 的 意义 ;只 要 (2. 53) 不 成 
立 , 则 不 管 ;的 公共 分 布 如 何 (但 满足 (2. 52)) ,ce'f. 必 不 依 概率 收 
BF c' Boo ti KHER DAAI Re 而 言 . 可 以 让 明 , 对 r+<2, 具 
有 这 样 明确 意义 的 充 要 条 件 则 不 存在 ]. 因此 ,对 (2. 54) 和 (2. 55) 
可 以 理解 为 是 由 于 对 e; 的 假定 的 放松 (由 要 求 Ee? oot BR 
Ele,1'<oo0) 而 在 {zx} 的 条 件 上 所 付出 的 代价 . 
回 到 基本 定理 2. 1, 还 可 以 作 如 下 的 解释 :把 对 e 的 要 求 由 
Ele, |*<ootRi§ WE |e; |"<0o ,相当 于 定理 2. 1 的 条 件 3" 减 弱 为 : 
E|We t+) < 之 oo (对 于 某 个 7 € [1,2)). (2.56) 
我 们 看 到 了 :至 少 在 LSE 这 一 特例 上 ,(2. 3) 已 不 再 是 M 估计 相 
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合 的 充分 条 件 了 . 在 条 件 (2. SOZ FM 估计 相合 的 充分 条 件 问 
题 现在 尚未 解决 . 

二 、 最 小 绝对 偏差 估计 CLADE》 

LADE 是 除 LSE 之 外 的 MM 估计 的 另 一 个 重要 的 特例 ,与 
LSE 一 样 ,对 LADE 相合 性 的 必要 条 件 的 研究 注意 力主 要 也 是 集 
中 在 {zx,} 上 , 即 在 对 {e,} 作 一 定 的 假定 下 去 寻求 为 使 LADE f, 为 
相合 时 {z,} 所 必须 满足 的 条 件 . 自然 ,首要 的 兴趣 乃 是 集中 在 条 件 
《2. 3) 上 ， 

首先 要 仔细 分 析 一 下 ,关于 {e,} 的 假定 要 怎样 提 才 合理 ?在 定 
埋 2. 1 的 三 个 条 件 中 ,对 LADE 而 言 ,条 件 3° 自 然 满 足 ,因为 [| 二 
1, 条 件 1° 归 于 要 求 med(e )==0, 这 个 条 件 可 以 留 下 来 , 因 若 med 
《ey) 隆 0, 则 如 以 前 所 分 析 过 的 ,用 LADE 不 合适 ,问题 就 在 于 条 件 


2°. 不 难 验 证 ,对 LADE 这 个 特例 ,条 件 2* 有 形式 如 下 : 
定义 či E E 

TT Pece <o)/ irl z<0, 
则 有 


Phe <0) =1/2>lim inf C(x) >0; 
Ple20)=1/2>Iim inf Clz)>0. 
粗略 地 说 ，e 的 概率 在 0 的 邻 域 内 应 有 一 个 不 低 于 线性 程度 的 聚 
集 , 聚 集 度 愈 高 , 则 LADE 愈 倾向 于 相合 , 因 如 考虑 一 个 极端 的 情 
襄 , 即 “退化 到 0, 则 只 要 S, 满 秩 ,LADE p. 就 以 概率 1 取 真 参数 
8. 为 值 , 故 当然 为 相合 , 因此 ,要 获得 合理 的 必要 条 件 , 尤 其 是 如 要 
使 (2. 3) 可 能 成 为 必要 条 件 , 则 要 限制 e! 的 概率 在 0 的 邻 域内 的 聚 
集 , 具 体 地 说 ,不 超过 线性 程度 . 定义 
. Se ee 
ea) = 
Pla <e, $0)/|x},2< 0. 
则 lim supz(z) <, (2.57) 
总 结 来 说 :LADE 8. 相合 的 必要 条 件 的 提 法 就 是 在 假定 e 为 
iid., med(e,)=0, H (2. 57) 成 立 的 前 提 下 ,企图 证 明 (2.3) 是 扩 
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相合 的 必要 条 件 . 

这 个 问题 离 彻底 解决 还 差 很 远 , 目 前 只 有 一 些 初步 的 结果 , 现 
在 不 加 证 明 地 引述 如 下 : 

1 对 p 二 1 的 情况 已 得 到 证 明 ; 

2” 对 一 般 的 ,在 一 些 补充 条 件 下 得 到 证 明 , 条 件 是 : {x,.} 有 
界 ,e, 在 0 的 邻 域 (一 6,6) 内 有 概率 密度 ff 在 (一 8,6) 内 绝对 连 


Bo S CEDIS Ode < oo 以 上 两 个 结果 的 证 明 参 看 
文献 [25j. 
3° 对 一 般 的 如 ,证 明了 一 个 较 弱 的 必要 条 件 ， 
Set ==. (2,58) 


如 以 丸和 加 分 别 记 5S, 的 最 大 和 最 小 特征 根 , 则 C2.3) 和 (2. 58) 分 
BHF A oof Aco AIL Se RAE. 58) 与 (2. DEA 
一 段 距 离 的 . 

下 面 我 们 只 给 出 最 后 这 个 结果 的 证 明 , 首 先 把 推理 的 主要 部 
分 提出 来 , 列 成 几 条 引 理 如 下 : 


引 理 2.1 设 模型 (1. 1) 中 记 的 维 数 户 一 1, 令 M= 2 |z l. 
定义 随机 变节 6, 其 分 布 为 ， 
PE=Y,/2,) = lz (<i<n), 
则 4 的 任 一 中 位 数 必 是 bY LADE. 反之 ,8 的 任 一 个 LADE 必 
是 的 中 位 数 . 
证 明 很 容易 .只 须 注意 到 由 的 定义 ,有 


Dh afl = M.D) IY — Be 1/M, = ME\|E— p|, 


再 利用 熟知 的 事实 一 使 EI 一 B81 达 到 最 小 的 8 值 的 集 与 4 的 一 
切中 位 数 的 集 相 同 . 

为 了 论述 方便 ,以 后 用 MED CS) 记 《的 一 切中 位 数 的 集 (而 
med($) 则 是 指 & 的 某 一 个 中 位 数 ), 这 样 ,用 {MED(5)<c} 表 未 
的 每 一 中 位 数 都 小 于 c, 等 等 . 
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引 理 2. 2 ” 设 对 固定 的 > 有 独立 随机 变量 fo RO 
为 
Py =1)=1~ pba = 0) = pn 
1/4 pu S 1/2, 1i Kn. 
又 设 ca，…am 都 是 实 常数 , 令 


& = Saws — Pads 
i i 
则 lim supP (£, > 0) > 0. (2.59) 
为 了 证 明 , 不 失 普遍 性 , 设 aa,… ,ao 不 全 为 0. 定义 
gi = bal — Pads eu = (bs ~ pai)/qs ALi), 


bni = ang- | Satan = D butis 


各 = 
则 ee 独立 ,各 有 期 望 0, 方 差 为 1. 而 (2. 59) 等 价 于 
lim supP (7, > 0) > 0. (2. 60) 
4 a=1/14, b=15/18, iif 
(horoi) = (il Si Sn, [bu] >a}. 
因为 后 =1, 有 7 二 14' 二 196, 分 两 种 情况 讨论 ， 
气 
Q) B=, + +65, Sb 
这 时 ,注意 到 ot += 1, A M bul S1 A lou | + 
+ lbs, |b. & 
On) = Oni Ont, H + by Cui, sba = Te — On 
因为 pu S1/2,A 1 pus)/qus 1 sR 
PO, È b) > Pu, = Lu, = D BA Bas, 
XA £0.=0, Vara) =1— BeS1—5 
P82 | S6/2)21— (1-6) (6/2)? = 161/225. 
因此 
Phy 0) 2 Pla > by lOa l 6/2) Z 161/4 X 225) > 0. 
(2.61) 


§2.3 BAAN ARR “51* 


(2) B.<b 
W ba =On2/V1—B, HVA F, ERD RM ER 1 /4< pe 
1/28 A 


Elen P= (1 — Pad pq + Pol — Puda 
= (ps + 1 — pad gu < 2, 
又 车 记 T= {ln} 一 人 wi}; 则 Der [bw l Sa —B,). F 
是 ,注意 1 一 B,>1 一 5 二 1/16, 利 用 Berry-Esseen 不 等 式 ( 见 本 书 
第 6 章 中 引 理 6.1), 有 
sup |F, (e) — P(2) |< 0.8 X Cl — B,)~*? © 2a(1. — B,) 


<0.8X 4X 2/14 = 6.4/14, 
其 中 @(z) 为 N(C0,1) 的 分 布 函数 . 由 此 可 知 
Ps > 0) = P(g > 0) = 1 — F,(0) 
2 1 — (0) — 6:4/14 = 3/70. 
RPO SOSA FRA 
Pj, > 0) S PCG, 01 Og > 0) PN > 0, 
. (2.62) 
结合 (2. 61) FN C2. 62) , 即 得 (2. 60). 从 而 证 明了 本 引 理 . 1 
引 理 2.3 设 e,e:,… 和 独立, 各 有 中 位 数 0, 且 满足 条 件 
(2.57). 又 设 gw hs ASK nl) BSE HH, A 


G= Sew > 0, Hi= SASH <o (Sd. 
iat 所 


(2. 63) 
给 定常 数列 (8,},s,y 0, 定义 
pu Darte > hnt CH i E Q), e, S hui C i E QD), 
(2. 64) 


此 处 之 Ja BARR Al NETER ERR Q: 
QC ileran), Deala > G6/2, (Q = yey} — Q), 
则 有 
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lim supp, > 0. (2. 65) 
为 了 证 明 ,不妨 设 G,=1. 令 
所 = Ie > huts) ASI Kn), B= De 
Gi 

易 见 :为 证 (2. 65), 只 须 证 

lim supP(e. > 1/2) > 0. (2. 66) 
记 

Pu = EE, = Ple; > hie) Si Sn). 

则 由 本 引 理 的 很 设 (2. 63) 式 及 ,之 9,5,40, 知 当 充分 大 时 ,有 
1/4 委 加 安 1/2 ASIKn). 又 


1/2 一 £6,= Seall/2 — Ple, > hse.)] 


< Dg P O Se hue) Shy D Enhi 
<AK,He,, (2. 67) 
此 处 R= > 85S1. AWG. = 1 guie 


D = Dett — Pu)» 
则 有 
1> D; > Ki /16,D, > K./4. (2. 68) 
以 下 分 两 种 情况 讨论 : 
qa) max gu/D.—0 
这 时 随机 变量 的 三 角 阵列 {gw( 人 一 pw) LKL RE 
所 谓 uan( 一 致 渐 近 可 忽 栈 ?条 件 .根据 中 心 极限 定理 ,有 
(6, — Eé.)/D, > N(0,1) Cn 00). 
由 此 及 (2.67) 和 (2. 68) 
PCE, > 1/2) = PLE, 一 BE.)/D. > (1/2 一 Eé,)/D.] 
> PLE, 一 E&,)/D, > 4h, ]-> 1/2. 
这 证 明了 (2. 66). 


82.3 BAAR 753° 


(2) max af Dn 7> 0 
必要 时 取 子 列 并 调整 足 标 编号 ,不 失 普遍 性 , 设 存在 > 0, tE 
Bn 充分 大 时 ,有 


En = max gy 之 ED,. 
Sisa 


a= De Ge Pe). BA 6-0, Y n EAK EEH 
a/4. 故 当 n 充 分 大 时 ,有 
PE, > 1/2) = P(é, — E£, > 1/2 — E) 
> PC, 一 EE, >1,K,He,) > P(E, — Ef, > €D,/4) 
D P(gnEn — Pm) > ED,/4)P O, > 0) 
> P (En — pa > 1/4)P 0, > 0) 
> PE = DPO, 20) 24 PO, S 0). 
按 引 理 2, 2, 有 lim supP (0,220) >0, He ERIH (2. 66). 引 理 
证 毕 ， 1 
现在 转 到 3* 的 证 明 : 不 妨 设 B= 0. Y =e. ie 8, 的 7 分 量 为 
六 zi 的 分量 为 zv, 不 妨 设 zx，ze 不 全 为 0, 上 且 不 失 普遍 性 , 设 
Lips ty REA H ERER 事实 上 , 若 某 个 zip <0. 则 把 相应 
的 方程 一 zBo 吓 ei 改 成 一 了 ,一 (一 Zz)' Bot (—e:) ,容易 看 到 , 若 
{e)} 满 足 条 件 (2.57), 则 不 论 十 ,一 号 如 何 取 ,( 土 e1, 士 e，…) 必 也 
满足 (2. 57). 这 样 x; 可 换 为 一 z;, 其 相应 的 p 分 量 一 zis>0. 
W 4.= zz 十 … 十 zw 定义 随机 变量 思 , 分 布 为 
PO = (e — 2B) / tip) = Iyl ASI<Kn), 
注意 :在 此 处 的 3 及 下 面 的 3* 和 6. 的 定义 中 ,将 。 和 有 看 作为 党 
数 . 往 下 证 明 
; med(7,) = 0. (2. 69) 
为 此 令 


et 
Z =e Yta ASi<n), 
气 


定义 有 HD) 二 > |Z.— zt | BB. 8 Bol} LADE 知 ,有 ,应 为 HC) 
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的 最 小 值 点 , 故 若 定 义 随机 变量 77 ， 其 分 布 为 

POR = 2/24) = zs/A, ARIK), 
则 按 引 理 2. 1, 应 有 色 , 一 med《7; ). 但 加 与 如一 fs 同 分 布 ,因而 证 
明了 (2. 69). 


Be) 为 常数 列 ,sy 0, 记 已- SY lel 定义 随机 变量 


On DMA: 
PO, = Kei 一 leille /Li) /zy) = Zip/Ay AKIK). 
如 果 工 81<e., 则 有 
< 一 8 一 
Be — alel ASisn), 
故 由 (2. 69) i med(b,) 委 0( 此 式 的 意义 是 :9 有 一 个 中 位 数 为 0)、 
这 证 明了 
(LIAIS e) CS {med (0,) <0}. 
故 若 以 MEDG,)i2 0, HYP RR UE 
(LIAN > &} D {MED(8.) < 0)" = {MED,) > 0}. 
(2.70) 
记 刀 = 上 zl/Lygs 二 zs/4。(1<in), 则 满足 了 (2. 63). 并 且 
G, 二 Hi 二 1, 因为 按 8, 的 定义 , 易 见 PCMED(8,)>>0) 之 pspr 由 
(2. 54) 定 义 , 故 由 (2. 70) 及 引 理 2. 3, 得 
lim supP (LNB,l > E) > 0. 
因为 上 式 对 任何 e. t 0 都 成 立 , 故 得 到 
LA, # 0,01). (2.71) 


由 此 可 知 ,车 5; leho 80, BR 有 不 依 概率 收敛 于 


O= Bo. 从 而 证 明了 所 要 的 结果 . 
所 证 明 的 上 述 结果 与 猜想 目标 (S> :>0 为 必要 ) 之 间 仍 存在 距 


离 ,这 是 因为 由 S27->0, 可 推出 > xP = 2° {ARH 
这 个 结果 可 略 加 推广 为 下 述 形式 :考虑 模型 


om 


OU eee. 


A 
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Yu = tubo be UK KASI), 


HP aots toe ATE TL AL BEL EAE RARE. WB 记 8 的 
LADE, 则 有 


Ske 1B, — Bn FOG) (2.72) 
特别 是 ,下 rum SE Ba =S! R Balt) LADE X B= 
其 中 色 为 模型 (1. 1D 中 L LADE. 注意 到 D hee [PEE At 
数 记 ,出 (2.72) 得 i 


SYR, — By) #O,Q). (2. 73) 
另 一 方面 ,在 第 2 章 中 曾经 证 明 ( 见 (2. 14) 式 ) 了 在 一 定 条 件 二 有 
SM2C 记 一 Bo) =O, (1). 把 这 与 (2.73) 结 全 起 来 ,就 得 出 :在 两 方面 
的 条 件 都 满足 时 ,SX*(p, 一 B,) 的 确切 的 阶 就 明 0,(1), 即 它 能 达 
到 这 个 阶 ,但 不 能 更 高 .例如 ,在 e1,e:,… 为 iid.， 其 公共 分 布 在 0 
点 的 一 邻 域内 有 密度 f, 且 f 在 此 邻 域内 有 正 的 下 界 及 有 限 的 上 
界 时 ,就 是 这 样 一 种 情况 . 
另 一 方面 , 若 (2. 57) 不 成 立 , 则 训 以 证 明 : (2. 3) 不 是 b, 相合 
的 必要 条 件 . 这 一 点 是 人 难 理解 的 ; (2. DRRR e, 的 概 
率 分 布 高 度 集中 在 0 点 附近 . 这 一 情况 有 利于 Bo RTT 0 m 
估计 (例如 LADE 所 ) 的 相合 的 可 能 性 ,因而 对 izx,} 的 要 求 可 相应 
降低 ， 
为 证 明 上 述 断 言 ,定义 
ea) = 1/2 — Ple Bx) ( 当 z>0)， 
ut = 1/2 - Pl <2) (420). 

因为 (2. 57) 不 成 立 , 故 有 
lim sup a /ll = oo (2, 74) 
事实 上 , 若 Pe, =0) =0, Mill oy I Hcl x), 4 (2.57) BRL, 
RAO 74). BP Ce 0) > 0, WRB A Plo, >0)<1/2, 3k BT 
lim sup ¢(2)/2= 09; 或 者 P(e <0)<1/2, 这 时 lim sup akel 


|z|=eo. 为 确定 计 , 设 
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lim sup ci(z)/z = oo， 
#40 


则 易 见 可 找到 一 串 正 数 仿 } ,使 
Srat) =o, Ds <o. 
Hh LTRS AER deo 
Sait < 00, 
Wi=ditiy 5=1/di, 则 有 i 
oo 一 me (> Dran = 00, 


现在 令 za-: 一 一 5，za 一 5G 世 1) 而 考虑 线性 模型 
Y=xrh te A<i<n), 
Wes- Se= G21) MWA e—>0 (24 i>), H 


D tuci (euzu) = D) ltu- ler naa |En) = cc， 
f 所 


Dro,’ (2.75) 


KRENE WL A=0, M A iE pb LADE. EFEM A, —0, E 
而 如. 为 相合 . 
任 给 e>0, 记 


Z,= SMD |z e/a 22), 
各 

2, = SOM |b e/a <— ©), 
5 


RH M, = b? lz: |. WES [2.1.4 
1A, > e} C (MED(E) <e) C (2, > 1/2}, 
18. <— €) C (MED( >— e} C {Ž, > 1/2), 


此 处 的 就 是 引 理 2. 1 中 所 定义 的 随机 变量 故 为 证 A, o, R 


aru 


$23 BASAL RE “ 57。 


iE 

PZ, 21/2) +0, PĒ, > 1/2) — 0. 
以 前 一 式 子 为 例 , 按 ciCz) 的 定义 有 履 MED (Ce) =0, H 0: (2) 20, 
当 0<u<v 时 ,有 co Ce) Se lw). 由 这 些 事实 以 及 s>0 固 定 同时 
gs>>0s-0, 有 


[a/2] 


M,(1/2 — EZ) = >) | ale, Cex.) > D tati (ern) 
= a 
(2) 
> Draci lenz) + 09 
a 
(24 n> 90) ILC. 75)). 
又 根据 (2. 75), 有 
Var(M,Z,) < De? < Dz? < o. 
a a 
由 此 可 知 . 当 w>o% 时 ,有 
PZ, 2 1/2)= P(M,(Z, — EZ,) > M,(1/2 — EZ,)) 
< Ver(M,Z,)/(M,(1/2 一 EZ,))* + 0. 
类 似 地 可 证 明 
PZ. > 1/2) > 0. 


如 前 所 述 , 即 证 明了 Aot LADE 为 相合 的 ,但 57 一 { S28) "AR 


据 (2.75)，, 此 值 当 ns 时 ,并 不 收敛 于 0, 这 说 明 对 这 个 fe,} 而 言 
《 它 使 (2. 57) 不 满足 ),(2. 3) 并非 LADE 相合 的 必要 条 件 . 

三 、p 为 一 般 凸 函数 的 情况 

考虑 到 定理 2. 1 ,并 参照 本 节 第 二 段 中 对 LADE 情况 所 作 的 
分 析 , 对 p 为 一 般 凸 遂 数 情况 下 的 M 估计 8, 相合 性 的 必要 条 件 ， 
最 理想 的 结果 应 有 如 下 的 形式 ， 

命题 若 在 模型 (1. 1) 中 ,随机 误差 ee:,… 为 iid.， 且 存在 
函数 更 (P <SPSY. REM c>0,4>048 

JEY Ce, + u)| Schul, lel <A, (2.76) 

M BAY RRRA t AA C2. 3). 
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这 个 命题 中 的 要 点 是 :条 件 (2.76) 把 条 件 (2. 1) 反 过 来 了 ,其 
所 以 要 反 过 来 ,理由 与 在 LADE 的 情况 下 引出 条 件 (2. 57) 的 道理 


相同 , 注意 由 于 条 件 (2, 76), 必 有 EW Ce) =0, 


此 这 条 件 不 需要 


另行 提出 .至 于 定理 2. 1 的 条 件 3" 完 全 删 去 了 (注意 在 LADE 的 情 
况 , 这 条 件 是 自动 满足 的 ), 是 基于 在 LSE 情况 下 的 结果 的 考虑 ， 
即 : 在 定理 2, 5 中 并 不 需要 假定 误差 方差 为 有 限 的 . 

到 现在 为 止 ,这 个 命题 还 只 是 一 个 猪 测 . 虽然 有 许多 理由 相信 
它 是 正确 的 ,其 严格 的 证 明 可 能 极为 困难 . 目前 ,仅仅 对 p==1 的 特 
例 并 且 作 了 若干 附加 的 假定 ,证 明了 (2. DE 名 弱 相 合 的 必要 条 


件 . 


M 估计 的 强 相合 性 


沿用 前 章 的 记号 ,考虑 线性 模型 (1. 1), 选 定 函 数 p, 按 (1. 5) 

式 定义 房 的 M 和 估计 把 .本 章 的 目的 是 探讨 使 

Ê. > Bova. s. 
成 立 的 条 件 , 我 们 只 讨论 随机 误差 myez,… 独 立 的 情况 ,并 为 了 免 
去 一 些 形 式 上 的 咯 烦 ,而 进一步 假定 ee:,… 为 id. 虽然 有 些 结 
果 不 难 推广 到 e ye,… 独 立 但 不 必 为 同 分 布 的 情形 )- 

同 讨论 骅 相合 问题 一 样 , 我 们 的 架构 是 在 对 函数 p 和 e 的 公 
共 分 布 作 一 定 的 假定 之 下 ,去 探讨 当 {z.} 满 足 何 种 条 件 时 ,有 有 强 
相合 性 .一 个 自然 的 选择 是 定理 2. 1 的 假定 1*~3*, 关 于 这 些 条件 
的 意义 我 们 在 上 一 章 中 已 有 充分 的 分 析 了 . 

对 M 估计 的 一 个 重要 特例 一 一 LSE, 定 理 2. 1 的 条 件 1*~3 
相当 于 要 求 Ee =0, Eef<<o0. 在 这 样 的 假定 (实际 上 在 比 这 更 宽 
一 些 的 假定 ) 下 , 黎 子 良 等 于 1979 年 在 文献 [44] 中 证 明了 一 个 基 
本 结果 :(2. 3) 是 及 强 收敛 的 充分 条 件 ,根据 Drygas 的 结果 (2, 3) 
也 是 必要 的 ,因而 是 充分 必要 的 . 这 个 结果 使 我 们 产生 一 种 奢望 : 
对 一 般 的 凸 函 数 p, 在 定理 2. 1 的 假定 1" 一 3" 之 下 ,莫非 (2. 3) 仍 是 
Bu 强 相合 的 充分 条 件 ? 倘若 情况 果然 如 此 , 则 (2.3) 极 有 可 能 也 是 
必要 条 件 ( 把 (2.1) 式 中 的 不 等 号 要 反 过 来 ,参见 $ 2. 3 第 三 段 中 
的 解释 ), 因 而 bf. 的 强 相合 问题 也 就 有 了 一 个 完满 的 解决. 可 惜 的 
是 ,实际 情况 却 与 此 相差 很 远 . 

首先 , 迄今 为 止 我 们 还 未 能 (就 一 般 的 凸 函数 p) 在 定理 2. 1 的 
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假定 1 一 3" 及 关于 (2) 的 任何 假定 下 , EGS, 强 相合 性 的 结果 ， 
需要 将 假定 3" 大 大 加 强 ， 这 种 加 强 确 是 出 于 必要 的 ， 或 者 是 由 于 
证 法 上 的 缺陷 ， 迄 今 还 无 法 推测 ， 其次， 对 LSE 以 外 的 M 估计 ， 
即使 像 LADE 这 样 比较 简单 的 情况 ，(2. 3) 也 不 能 保证 有 为 强 相 
合 . BE, PEST 以 多 快 的 速度 趋 于 0， 也 不 能 保证 所 为 强 相 


合 . 


为 证 明 这 一 点 , 任 取 一 串 常数 (4.},0< 4.f+ co , 找 一 列 常数 
{a,} 满 足以 下 条 件 : 


1<a <a < Aoo; S, = Dial > A, a1 (3.1) 


lim na,/az, = 0; lim ay ‘Sta 一 0. (3.2) 


考察 线性 模型 了 ,一世 go 十 e ALn, 这 里 六 一 aivei 为 
iid,， 其 公共 分 布 有 如 下 的 形式 : 
Ple, = a)= Ple =— a) 


= (R +1) (k = 6,7,8), 

而 在 区 间 ( 一 1/3,1/3) 内 ,e 有 概率 密度 1, 这 是 一 个 对 称 分 布 ,在 
原点 邻 域 内 有 非 0 的 光滑 密度 ,对 LADE, EA 2, 1 的 假定 1*~3* 
当然 满足 , 且 因 为 | 到 | 和 1, 更 的 任意 阶 矩 甚至 其 抢 母 函数 也 存在 ， 
根据 (3. 1),S,:<4r:, 因 此 ST EF 0 的 速度 比 给 定 的 A 还 
快 .然而 ,我 们 将 证 明 :名 的 LADEP, PERAH. 

不 失 普 遍 性 ,不 妨 设 B, 二 0, 引 进 事件 : 

Q(Nsm)= {len| Zams la| <ar 1 Si Sm — 1}, 


= UZ m). 
当 |8|<1/2 有 事件 QCN,m) 发 生 , 且 m<N 时 ,有 
= — hzl= Èl — Ba;| 2 |en — Pan] 


2 len} — ay/2 > len| /2. (3.3) 


第 3 章 “对 估计 的 强 相合 性 “61+ 
另 一 方面 ， 


Sle- pall < 有 e+ eal Ta, 


Pony eplan i'l = 


a 
<Naw + |en laz! Dyan (3. 4) 
S 


注意 到 (3. 2) 以 及 当 事 件 QIN MERER, len | Zan, HERTA 
YN, m 充分 大 时 , (3. WH ol len|) BY Nim 充分 大 且 
QCN,m) 发 生 时 ,由 (3, 3) 和 (3, 4) 可 知 , Bo 的 LADE n 满足 
|Bn b2>1/2. 

由 于 对 固定 的 N, 事 件 @CN,1),，…,QCN,N) 互 斥 ,有 


P(T)= DPQ m)). 
mnt 
根据 e 的 分 布 ,有 


PQZ wm) = (1 — 2) 2," 


因此 , 当 r->co 时 ,有 
z 
PCT) = mary 
mat 
eM —e)/2 > 0. (3.5) 


当 了 ,发 生 时 ,存在 m Km), El | > 1/2. 由 此 与 (3. 5) 
结合 , 即 知 有 不 以 概率 1 WRF 0 二 Bo, 从 而 证 明了 A, 不 是 强 相 
合 的 . 

将 此 例 于 稍 加 修改 ,还 可 以 说 明 另 一 个 问题 ;如 果 把 本 例 中 的 
随机 误差 myez,… 的 公共 分 布 改 为 (一 1/2,172) 内 的 均匀 分 布 ,出 


“62- 第 3 章 M 估计 的 强 相合 性 


这 个 改变 没有 变动 原 分 布 的 中 位 数 0, 也 没有 变动 原 分 布 在 中 位 
数 0 的 一 个 邻 域 ( 具 体 地 说 即 (一 1/3,1/3)) 内 的 形状 ,而 只 是 变动 
了 原 分 布 的 尾部 ,但 经 过 这 -改变 ,B 的 LADE A, 就 成 为 强 相 合 
的 了 . 这 个 事实 很 容易 利用 引 理 2. 1 来 证 明 . 为 此 , 仍 设 8,==0, 则 
根据 引 理 2.1, A B=med(é,), Ep E, 有 分 布 ， 
PE, = e/a) = a/ta, 十 … 十 a) Agia). 

BEY le: | <1/2 而 ceo, 知 总 -0,a.s. .得 所 欲 证 .这 个 例子 说 明 
了 :对 于 有 的 强 相合 性 而 言 ,不 仅 贿 机 误差 分 布 在 其 中 位 数 的 邻 
域内 有 作用 , 且 整 个 分 布 ,包括 其 昆 部 ,也 是 有 影响 的 ,这 与 友 的 
弱 相 合 不 同 . 对 后 者 而 言 .只 是 中 位 数 的 一 个 充分 小 的 邻 域内 的 分 
布 情况 才 有 作用 , 从 这 一 点 也 不 难看 出 ,LADE 或 更 一 般 的 M 估 
计 , 其 强 相 全 问题 要 比 弱 相合 问题 复杂 得 多 了 - 

KRAE: 8$ 3. 1 和 8 3. 3 中 分 别 讨论 在 函数 o 为 凸 或 不 必 
Ait, M 估计 8, 强 相合 的 一 些 充分 条 件 . 在 § 3. 2 中 讨论 的 性 
质 较为 特 跌 , 帮 是 讨论 对 LADE 这 个 特例 的 一 个 带 有 必 怠 条件 性 
质 的 结果 . 这 一 讨论 非常 精细 , 它 告诉 我 们 ,在 入 的 强 相合 问题 
中 ,涉及 到 必要 条 件 的 部 分 是 多 么 困难 . 


$3.1 2 为 凸 函 数 的 情况 


M 估计 8. 的 相合 性 取决 于 两 方面 的 条 件 : 一 方面 与 和 随机 
误差 的 分 布 有 关 # 一 方面 则 与 4z} 有 关 . 当 把 一 方面 的 条 件 加强 
时 , 另 一 方面 的 条 件 可 能 减弱 . 本 节 所 要 讨论 的 有 关 及 强 相合 的 

个 结果 , 即 说 明了 这 一 点 . 

仍 沿用 以 前 惯常 使 用 的 记号 , 设 有 模型 (1. 1), 记 8S,=zizi 十 

stata EM 
d, = max x5, se (3. 6) 


此 处 假定 ST 存在 . 不 然 的 话 ， 估计 Bo 的 问题 就 失掉 了 意义 . 设 o 


为 凸 函 数 ,以 更 - 和 更 + 分 别 记 的 左右 导数 ， 
定理 3.1 Reser Wid, p 为 凸 函 数 , 满 足以 下 两 个 条 
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件 : 
1° 存在 常数 >0.4>0, 合 
Elple, +u) ~ ple) Baw ( 当 |z| < LHH. (3.7) 
2° 存在 常数 4>0, 使 
El¥, le, A)|" Kh, <0 (四 一 12) (3.8) 
则 当 存 在 >O, E 
d, = O(a’) (3.9) 
时 , 记 为 Bo 的 强 相合 估计 . 
在 证 明 此 定理 之 前 ,我 们 先 来 考察 一 下 这 几 个 条 件 . 不 难看 
出 ,与 定理 2. 1 的 条 件 相 比 ,这 些 条 件 全 面 加 强 了 . 首先 , 按 (3.7)， 
0 是 (1.19) 式 所 定义 的 函数 g(t) 的 唯一 最 小 值 点 . 故 按 定理 1. 4， 
存在 时 ,使 到 -二 YSY+, 且 有 (1.21), 即 定理 2.1 的 条 件 1" 成 立 ， 
且 有 (1.20). 其 次 ,定理 2. 1 的 条 件 2" 也 成 立 . 事实 上 ,为 确定 计 ， 
设 w>0, 由 pp 的 是 性 可 知 ; 
ple, +u) — ple) = ule, +u). 
两 边 取 期 望 ,利用 (3. 7), 即 得 (2. D (其 中 常数 co 和 4 分 别 取 为 五 
和 4). 对 LADE, 易 见 (3.7) 与 (2.1) 等 价 .其 次 ,(3. 8) 是 (2.2) 的 
强化 ;《2.2) 只 要 求 (3. 8) 当 mm 二 2 时 成 立 ,而 (3.8)? 要 求 对 一 切 关 
成 立 . 如 果 涪 (3.7) 强 于 (2. 1) 更 多 是 形式 的 而 非 本 质 的 , 则 (3. 8) 
是 本 质地 强 于 (2. 2): 它 要 求 罗 i (ei 土 4) 有 任意 阶 矩 ,而 不 只 是 二 
ME. 可 以 猜测 ,这 个 条 件 是 不 必要 地 过 于 强 了 ,但 馆 今 ,在 改进 这 
一 点 上 尚未 有 所 进展 . 
现在 我 们 来 考察 d, 这 个 量 ,与 5, 相 比 ,在 一 定 意义 上 d, 这 
个 量 更 刻 划 了 模型 (1. 1) 的 某 种 本 质 的 东西 ; 设 C 是 一 个 p 阶 非 
异 方 阵 ,我 们 用 线性 变换 7, 二 CB 去 取代 原来 的 参数 向 量 Po, 这 等 
于 把 模型 (1. DEX Y, =z Vote EP n= a). MI pA 
AY, HM itt 6. #7. MERR = CA, 相 联系 ,因此 就 有 关 的 
大 样本 性 质 ,如 相合 性 \ 渐 近 正 态 性 等 而 言 ,在 变换 后 的 模型 或 是 
在 原 模型 中 来 讨论 ,都 应 得 出 相当 的 结果 . 将 变换 后 的 模型 的 a 
值 记 为 2., 等 于 
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a= max aC { ae TIC i) C ig 
= max Se 0 0 
= max TST = day 
即 线性 变换 不 改变 神 型 的 d, 值 ( 实 际 上 ,不 改变 每 一 个 Sa'a 
值 ). 在 以 后 章节 中 我 们 将 看 到 ,qd, 这 个 量 在 M 估计 大 样本 性 质 的 
讨论 中 起 着 重要 的 作用 . 上述 讨 论 有 助 于 我 们 理解 其 原因 之 所 在 . 
条 件 (2. DER SI 0, 我 们 来 证 明 : 这 个 条 件 弱 于 d.->0, 更 
不 用 说 要 求 d, 以 一 定 速度 趋 于 0( 如 (3. 9)) 了 . 为 证 这 一 点 , 先 证 
明 一 个 矩阵 不 等 式 : 
tr(AB) > py(A)AB), (3.10) 
RE ABRE p BER A H(A) ACB A 的 最 大 特 
征 根 与 8 的 最 小 特征 根 .事实 上 , 找 正 交 方 阵 卫 ,使 
PAP! = diag(a,,**+,a,),a, > Da, 20. 
则 a, =4CA). 以 记 方 阵 PBP' 的 (i, 让 元 , 则 易 见 有 加 1 之 和 (B)， 
6:20. BA 
tr(AB) = tr(PAP! PBP') = tr(diag (a, 5°" ,a,) (6;;)) 


’ 
= Djabs > abn > ADAB), 
A 


BP (3. 10). Æ (3. 10) PR A=S,,B=S., E n>m, Mi Sa 存在 , 则 
Sm 的 最 小 特征 根 A0 i ST) RARER A FRA: 
Ade KUSTIS = DES) = DaS < mdz, 

因此 

d, > hima) (n>m). (3.11) 
E d0 WA Arco, Hl 52!>0, 反 过 来 ,由 ST' +0 不 一 定 能 
推出 cd,» 0. 在 本 章 开始 处 所 举 的 那个 例 于 就 属于 这 种 情况 . 
(3.11) 也 表明 了 :车 4 以 某 一 数量 级 趋 于 0, 则 Sot 至 少 以 该 数量 
级 趋 于 0. 另外 ,d, BF 0 的 数量 级 至 多 为 O(1/z) ,这 因为 
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nd, > Sus. ir, = Eres; ir) = tr(S,'S,) = trU,) = p» 
Hd, Sp/n. 

在 转 到 证 明定 理 之 前 ,我 们 先 引 进 两 个 有 关 独 立 变 量 和 的 概 
率 不 等 式 ( 下 列 引 理 3.1 和 引 理 3. 2): 

引 理 3. 1(Fuk-Nagaey BSR) 设 随机 变量 Eee, 独立 ， 
各 自 有 期 户 0. 则 对 任何 常数 :>>0, 存 在 只 与 有 关 的 常数 cu>0， 
cs>>0, 使 对 任何 zx 之 0, 有 

Fle Su) ca HELE 


1 


+ 2exp(— cu Dyvarcé). @.12) 


引 理 3. 2(Hoeffding FER) 设 随机 变量 全 ,6 独立 ,各 
自 有 期 望 0, 且 os6<6 Ain) HP ab BEAR WISE 
何 x>>0, 有 


"(S| >u) < 2em(— mi] S306 ~ ay). 8.19 


这 两 个 不 等 式 的 证 明 ,分 别 见 参考 文献 [29] 与 [31], 对 有 界 随 
机 变量 的 情况 ,Hoeffding 不 等 式 对 偏差 概率 给 出 一 个 指数 界限 ， 
因而 很 有 用 . H Hoeffding 稍 早 ,Bennett 提出 了 一 个 形式 稍 异 但 
功用 基本 相同 的 不 等 式 ,也 引述 如 下 ( 引 理 3. 3): 

引 理 3. 3CBennett) 设 随机 变量 l.i, 独立 ,各 有 期 望 0， 


HIE, |<6<co (1<i<n,b 为 常数 ). 记 = È varen. 则 对 任 

F u> H ‘ 
ef| Be/ 

其 证 明 参 见 文献 [18]. 


现在 转 到 定理 3. 1 UE: RRM AHIR 一 0, 令 
和 一 Sr <i Sn), Bay = SPB. (3. 15) 


Du) < 2exp(— nus/ 20 + 2bu)). (3.14) 
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而 将 模型 (1. 1) 改 写 为 
Y, = tupa tbe, (ign). (3.16) 


由 PB。 一 0 得 Pw 一 0. 又 注意 
Sete = L, D) law ll = p, de = max || zn ll’ 
mi iwl ign 


(3.17) 
以 Bo 记 在 模型 (3.16? 下 并 使 用 函数 Ht, Bolt M 估计, 则 易 见 
Bi 与 久 BRR BSI RB. 
Re e=/,/2,0<y<min(1 Asi.) B,=[9/0a pl] B/A p 
的 整数 部 分 》, 记 
= (BiB — 3, SB Sh, LSE ph. 
把 超 立 方 体 D, 的 各 边 分 为 2 如 *1! 等 分 ,从 而 把 D, AAR? 
IBS PB (By VS ISN} Na = (B mm 的 值 待定 ,B， 
WKH a POI b; 引进 函数 : 
D= ele.) — ple, 一 Tep)， 
ACB) = EPa CP), 
Ry (B= BP) — AaB). 


rae 
E,= {sup( AE D.) >d), 
= {sup( ag IKIN) > se/ 引 ， 


Ea= [suncu [S R — Rb) es BLS ISN) 


> bie/3}. 
fF 分 别 以 pr pr Al pws 记 其 概率 , 则 易 见 : 
Pa S Pm + Pe (3. 18) 
记 g(z) 一 max(| 更 ; (z 十 4A) |P; aA) 由 (3.8), 有 
Eg"(e) S hm Cn 一 12，). (3.19) 


Me 


$3.1 pA RRR +67- 


ho OE, IY ab 都 落 在 区 间 (z 一 A,z 十 4) 内 时 ,有 1pC6) 一 
pla) |<|b—alg(x). 4 BED, tt 
\xub,| S Vd p SISA, |B) S Vd PB RISA. 
于 是 当 BEB 时 ,有 
|p(ei — 2ub,) 一 ple, ~ zah) | 
<S gle, (a8 — b) l 
< gle) Vd, |B — è, 
< Veeb” ASKIN), 


Heth (3.19) 578 
DR. ~ R612 € B) 


imi 


sup{ 
< PbS gle) + Ez( SFE” Sete) 
a f 


< Ub gle) + nv p2hb". 
由 此 得 出 a 
pa < NP( VF Dee + thn A ps” > Be/3). 
BERHO OR B HENEN m EAR 
2hin J pbr” < bie/6, 
因此 对 这 样 的 mm, 有 
Pus NP (Bele) Eels VB) 


CN.(Brte/6 VP) te See) 
a 


根据 (3,19) 及 N.= ( 2524") * 
pa (257+) (Bet?) “HD eg Vp) “DOR y nt 


= Orr Dny, 
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由 上 式 并 根据 (3. 9) 及 6. WE LAR m 充分 大 时 ,有 
ba = O(n), (3. 20) 
考虑 pw1, 与 前 面 类 似 的 推理 ,得 出 
[Rab] S (gle,) 十 2h1) (rub; l. 
AA | 2.6, |<Va.h<9<1, 根 据 (3. 19) 知 , 当 t 之 2 时 ,有 
EIR.(b,) |! < KD, Laity. 
REK, 只 与 上 有关. 由 此 并 注意 (3.17), 有 


ED) | Ru) |S Ko < pK BE. (3. 21) 
a 
特别 是 , 取 t=2, 得 到 
DVar (Ry 5)) < pKb. (3. 22) 
E 


将 引 理 3. 1AF ESR 0) ASi<n) FRG. 12? 式 中 的 
u=Be/3, FFA (3. 21) 和 (3. 22)》 ,得 到 


?(| Bae) 
f 
Voy, Bebe pKb + 2exp(— cu9 Ebt pK) 
= ubr? + 2exp(— Cyb). 
此 处 cv>>0,， a0 PRG: BK. 由 此 ,并 注意 N,— r, 
得 到 


> Be/3) 


Par S (2p) C5, = P + 2exp(— Cyb2)). (3.23) 
REG. 9 可 知 ,只 须 取 上 足够 大 ,就 有 pO). 将 此 与 
(3. 18), (3. 20) 结 合 起 来 并 利用 Borel-Cantelli 引 理 ,得 到 
P(E,,i.o0.) = 0. (3.24) 
注意 :此 式 对 任意 的 满足 前 述 条 件 的 ? 都 成 立 . 
现 定义 事件 ， 


F.= [DT > inf ocr, — «op)) 


= (Ze > inl ce, — 20}, 


mee 
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此 处 对 任 一 向 量 =, 用 |cj 表 示 a 的 各 分 量 绝对 值 中 最 大 者 ， 又 利 
用 了 Bo=0, 因 而 Y, 一 ei. 现 在 进行 证 ,CE.. A BED, 时 ,有 
lanh KI BUR C3. 7) E 

AWB) <— hlaupi (PE DBD. 
由 此 ,利用 (3, 17), 得 到 


SA <- AD lapl =— leh (Be Do. 


(3. 25) 
由 《3. 25), 并 注意 到 R。(8) 的 定义 知 , 当 事 件 F. 发 生 时 ,可 找到 
Bs IBI =5,, te 


SRP Dak = 2ebi, 
a 


故 有 sp 人 | 六 RD)| ,ee D) > ee 
这 就 证 明了 FCE. 由 此 及 (3. 24) ,得 到 
PUR yo.) = 0. (3. 26) 
由 此 ,利用 p 的 凸 性 及 定理 1. 3 的 3", 得 到 
PCBs | > bio.) = 0. (3. 27) 


根据 (3.11) ,存在 常数 >0, 使 4 之 h/ 久 ,入 为 3S. 的 最 小 特征 根 ， 
由 此 及 ds?/5 可知, 对 任 给 的 60, 有 
(Bal) > C (SB > V Xeo} 
CNB a Sk / Sad.) 
(NBS I mr! ARB} 


CB | per VRE). 
取 办 >0 充 分 小 ,使 ?<<min(1,4,) 且 加 eg VA > 1 A ER 
得 {| 之 eo} Ct [Be |B}. 由 此 及 (3. 27) ,得 到 
PCA, E i.o.) = 0. 
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由 于 此 式 对 任何 ©. > ORIEN 名 一 0 二 Bo,a. s.. 定理 证 毕 . | 

根据 这 个 定理 , 若 YAAR WK. DRG. DEEE, 
的 M 估计 为 强 相合 . 下 -- 个 定理 表明 ,在 此 情况 下 ,条 件 (3.9) 还 
可 以 再 加 以 改善 . 

定理 3.2 设 evez，… 为 iid.，2 为 凸 函 数 ,满足 (3. 7), 且 满足 
下 述 两 条 件 之 一 : 

I FERI M<, tË Peai <M) =l; 

2 多 :有 界 , 或 等 价 地 ,p 满足 Lipshitz 条 件 ， 
则 当 

d, = o(1/logn) (3. 28) 

mA 为 名 的 强 相合 估计 . 

证 虽说 由 (3.9) 到 (3. 28) 的 改进 似乎 很 有 限 ,但 这 一 改进 却 
是 本 质 的 ,因而 证 明 也 是 繁复 的 . 基本 思想 仍 是 上 一 定理 证 明 中 所 
用 的 分 割 法 ,但 分 割 不 是 一 次 ,而 是 需要 多 次 . 

仍 将 模型 转化 为 (3. 16) 并 设 Bo = Bo = 0, X76, Al D. 如 
前 ,把 D, 的 各 边 分 为 素 等 分 ,从 而 将 D, 分 割 成 了 Di 个 相等 的 超 
立方 体 : 

{By tl <j SH). 
接着 ,把 每 个 BSH BBO AT Ba BRT OY 个 相 
等 的 超 立方 体 ; 
{By tl Sh SHS SÈ. 


一 般 地 ,在 得 到 
{Bye SASH Lj, 1 SH} 
后 ,把 By a, ABD OF 等 分 ,从 而 将 Bj, PIR TB 


AAA BIT By 1S jn SOY BW 

Ga = {Bp 1 Sh LEl S ja KEP), 
Gn PR SETA NDE RT 25.6. A A 6, 00 DY 充分 
Kit B, AY ERREN br iE B, o BYE 8, 0 有 
RIIA BAM 6 EDRR Bi P bisat 


83.1 2 为 是 函数 的 情况 "71" 
R cE (0,4/2) ,定义 以 下 的 量 ， 
= Des (| DR | > a), 


[A ” 
> zl DR) = Ru rond | 


feng =I 


Un 


> di/3") m>, 


n= Disco, P( sup] X Reh) 一 R66) > y3) 


m>, 
WI LA QLU +n (MBDA 
v = P(sup Dk. | > 2h) <U, + Q. 
于 是 ,对 任何 自然 数 N, 有 
VE UL + Quen (3.29) 


mo 


考察 
(8) — Da Oren) BE Byen)» 


如 果 定理 3. 2 的 条 件 1 满足 , 则 令 
H, = sup{ |F; (D|: lu] <M +1}, 


如 果 条 件 2* 满 足 , 则 令 
:= sup{ |F; (u) |+ |u| <0}, 
令 H= max(H,,H,). 


考虑 到 当 JE D, M, laup A le rup SMH. A 
18a 一 Dalby ISA ZnB br) l 


SH + leah B= brl- 
因为 18 一 总 1 当 BE 8 时 ,不 超过 Bj…, 的 直径 , 故 不 超过 
br"? , Ti 


Sle < (Zytel) = vaz 
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有 

> a eb) | <H SAPE» (BEB), 
由 此 推出 

$) RuD — RC ))| <2H Ynpht” (BE Bpm) 


(3. 80) 
因为 im 5,02 FY 充分 大 时 ,可 找到 M,, 当 m>>M, 时 ,使 
2H Vnpbr’™ Yn < eb/3"!. 
由 此 ,注意 到 Qn 的 定义 及 (3. 30) 式 , 即 知 


Qui = 0. 

HEG. 29), 即 得 

My 
ve DU. 3.31) 

=o 

因为 

[Bu EH zd ASi<a), 
有 


[Ry 6) K 2H + hrab) GSES) 


故 若 将 引 理 3. IF DOR O, MG. 13) 式 中 的 (6 一 应 
为 
DS) GH ab)? = 16H? < 168 pi. 


ZT 


于 是 由 (3. 13》, 得 到 
>| [Ère |> a] < 2exp(— 2e8t/16H*pbt) =2expC ch), 


(3. 32) 
此 处 取 c=2e/16H° p. 类 似 地 ,因为 
(Bu brei) — Bobi) | SH + je Gio, S bio) hs 


而 |6 一 5 1 不 超过 B,.…. 的 直径 , 故 不 超过 ieee. 由 此 ， 


nata 
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仿照 得 到 (3, 32) 的 推理 ,用 引 理 3. 2, 得 到 
P( | ERa, o) — Rabi 


mD | > 737) 
< 2exp(— 2e%%t3-™/16H' pr”) 
= 2exp( 一 97”). (3. 33) 
由 U 的 定义 ,利用 (3. 32) 和 (3. 33) ,并 注意 到 (3. 31) ,得 到 
V < 2b exp(— chi) + 23 Pexp(— goreh). 


Hi Flim b,=00, 由 上 式 易 知 : 若 取 cE (0,c), 则 当 充分 大 时 ,有 
V <exp(— eb). (3. 34) 
按 假定 (3.7), 以 及 当 PED, A, anb 
SAB) <= SAY = LIe. 
名 全 
由 此 及 VY 的 定义 ,并 注意 到 (3. 34) , 即 得 
Al we (Sew = ple: — 5B)) > (2 一 五 z) 


<V <exp(— cb). 


因为 e<2/2, 由 上 式 得 
P(S ped - inf, Spc, ~ zp > 0) <exp(— ot), 
(3. 35) 
因为 为 凸 函 数 ,利用 定理 1. 3 的 3", 根 据 (3. 35) ,得 
PCBS | > b.) <exp(— cobi). (3. 36) 


由 (3. 28) 51 Dyexp (— cobi) <00, A Borel-Cantelli 引 理 , 仍 得 
(3. 27). 于 是 根据 (3. 27) 式 以 下 的 推理 ,得 出 
fb, > 0= fris, 
从 而 完成 了 本 定理 的 证 明 ， I 
注 1 2 为 凸 函 数 的 假定 的 关键 作用 在 于 由 (3. 35) 推 出 
(3. 36). 在 定理 3. 1 的 证 明 中 其 作用 相同 ,而 这 是 基于 屿 函数 的 一 
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个 简单 性 质 ~ 一 定理 1. 3 的 3", 如 果 p HAE OM, MRS 
效 .在 M 估计 的 理论 中 ,p 为 是 函数 的 假定 之 所 以 有 如 此 重要 的 
地 位 ,就 由 于 这 一 简单 性 质 . 

注 2 定理 3. 1 和 3. 2 容易 推广 到 e 独立 但 不 必 为 同 分 布 的 情 
况 . 只 须 对 假定 作 少 许 修改 ;对 定理 3. 1, 要 假定 (3.7) 对 任何 e 成 
WAALS i HKG. 8) 式 对 任何 i 成 立 且 ha 与 i 无 关 . 对 定理 
3. L REG. 7) 要 作 上 述 修改 , 且 其 假定 1 对 任何 i 成 立 且 MM 与 i 
无 关 


注 3 定理 3.2 用 于 LADE 的 特例 ,推广 了 匡 月 华 于 1988 年 在 
文献 [65] 中 作出 的 一 项 结果 : 设 在 线性 模型 (1. 1) 中 ,ei,e,… 为 
iid.，medkei) 一 0, 且 存在 常数 4>>0.>0, 使 
AE (Od) BP O<e, Sh) ShhA<P(—A<e; <0). iD 
t= max lel, 4=Se 的 最 小 特征 根 . 
则 当 
#2/A,=0(1 /logn) 
且 存 在 a>0, 4# t =OCn*) BT, Bol) LADE 是 强 相合 的 . 
BRR d, K/A HOY B/A =o logni}, MA 
d, = oll/logn). 
这 样 ,定理 3. 2( 用 于 LADE) 使 上 述 第 一 条 件 减弱 了 , 且 免 去 
了 第 二 条 件 . 但 值得 指出 的 是 : 匡 月 华 的 上 述 结果 是 LADE RH 
合 问题 的 第 一 个 结果 ,也 是 除 LSE 之 外 有 关 M itt 
题 的 第 一 个 结果 . 
注 4 FERRARA Robbins 教授 曾 引 进 “ 完 全 收敛 ”的 概念 
(参见 文献 [32]): 称 一 串 随机 向 量 {$.) 完 全 收敛 于 a, 若 对 任 给 的 


>o A DPE 一 ae<co. 按 这 个 说 法 ,在 定理 3. 1 和 定理 
3. 2 的 条 件 下 ,我 们 都 证 明了 及 的 M 估计 完全 收敛 于 Bu 

HS, 完全 收敛 于 a 导出 erasa. s- 但 其 逆 不 必 为 真 . 直到 现 
在 ,尚未 能 举 出 强 相合 但 并 非 完全 收敛 的 LADE 的 例 于 来 . 

注 5 一 个 悬而未决 的 同 题 是 :8. 的 一 分 量 , 或 一 般 地 说 ,8, 的 


tee 


二 人 


wpe 


1 vano 


E31 p WRAL +75 


一 线性 函数 Bol) M 估计 cp, 强 相合 的 条 件 . 这 种 条 件 当然 应 该 
HEG. DRG. 28) 弱 一 些 . 对 弱 相 合 ,类 似 的 问题 己 由 定理 2. 4 解决 
注 6 对 于 一 个 特定 的 满足 定理 3. 1 的 条 件 1"、2° 或 定理 3. 2 中 
相应 条 件 的 误差 序列 {e,} 而 言 , 无 论 (3. 9) 或 是 (3. 28), BANE B, 
强 相合 的 必要 条 件 . 
考察 线性 模型 
Y= abite n=l (<ign), 
EP ee. Bild, BASED RCC 1/2:1/2). 按 本 章 开始 处 
《§ 3.1 前 而 ) 那 个 例子 中 的 论证 ,在 此 模型 中 ,8。 的 LADE f. 为 强 
相合 . 但 此 处 有 
99 


= 2 100-9- + 2% 
d, = jg — 1007") 100° 


HEE & 一 0 的 条 件 也 不 满足 ,更 谈 不 到 (3. 9) 或 (3. 28) T- 

这 个 例子 中 的 分 布 是 给 定 了 ,在 本 章 初 的 讨论 中 ,我 们 已 
BB) Be 的 分 布 是 另外 一 个 样子 , 则 及 就 不 为 强 相合 了 . RB 
PME e 分 布 的 不 同 ,对 d 的 要 求 也 会 有 不 同 , 这 样 就 产生 一 个 
同 题 ;针对 一 切 满足 定理 3, 1 或 3, 2 的 条 件 的 分 布 ,定理 中 对 d, 的 
要 求 还 有 无 可 能 降低 ?比如 说 ,把 (3. 9) 减 弱 为 (3. 28) ,定理 3. 1 的 
结论 是 否 仍 成 立 ?或 者 ,把 (3. 28) RH d= 01 /loglogn) ,定理 
3. 2 的 结论 是 否 仍 成 立 ?对 一 般 的 凸 函数 p, 这 个 问题 还 不 清楚 .但 
对 重要 的 LADE, 已 有 基本 的 但 尚未 完全 衔 底 的 结论 ,这 个 十 分 细 
致 而 困难 的 问题 将 在 下 节 加 以 讨论 ， 

模型 带 常 数 项 的 情况 

考虑 带 常数 项 wm 的 线性 模型 ， 

Y, =+ rh te A<i<n), (3. 37) 
这 个 模型 是 (1. 1) 的 特例 ,自然 可 以 把 定理 3. 1 和 定理 3, 2 直接 应 用 
子 它 ,而 得 出 和 ol M 估计 志和 所 强 相合 的 条 件 , 但 是 ,如 同 
弱 相 合 的 情况 一 样 ( 参 见 $ 2. 1 中 第 四 段 ), 针 对 (3. 37) 的 特殊 形 
式 , 条 件 (3.9) 或 (3. 28? 可 写成 另外 的 形式 ,只 是 涉及 低 一 阶 的 方 
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阵 . 
记 云 = D a/n a =o tp OAL. 37) 改 写 为 
“Vice tee te a<i<n), (3. 38) 
WB T= Dente 242.2) 而 
家 ò, = max (a, — ETI a ~ BD. (3. 39) 
3.3 设 在 模型 (3. 37) Pe, Xid, HEA RRM p 一 起 ， 
满足 定理 3. 1 或 3. 2 的 条 件 , 则 当 6. 一 O(n“)( 对 菜 个 85>0) 或 


6, 二 0(1/logn) 时 ,ao、Bo 的 M fitt â, M A, WEAH H. 
证 对 模型 (3. 38) 来 说 ,S, 矩阵 有 形式 ， 


n 0 
0 z.) 
于 是 此 模型 的 d, 值 为 
d= max (1, (z; 一 BSC (a, — BY 


3= 


= 1/n + das 
HE a, 见 (3, 39), 因 此 ,车 6 一 OC K 80C /logn) W d, te 
如 此 . 因而 按 定理 3. 1 或 3.2,a, 及 Bo 的 M 估计 即 = 名 十 zf 及 
Bur DP SFE a Be Bo 的 强 相 合 估计 ,此 处 各 和 记分 别 是 在 模型 
(3.37) 之 下 wm 和 Aft) M 估计 ,由 此 立即 得 出 有 .的 强 相合 性 ,为 证 
如 的 强 相合 性 ,不 失 普遍 性 ,不 妨 设 ==. 因为 


oâ, Tab, a =a + To Âa >O, Say 


可 知 欲 证 a=0, a.s., 

只 须 证 ZO, a.s. 

DAA, iT, 的 最 小 特征 根 , 则 依 (3. 11), 存 在 常数 >>0, 使 6 之 
hf Aa. 所 以 


DT aLla /Aled /hce,, c= ll /h, 
又 按 5, 的 定义 ,有 (zi 一 地) Ta - 2) SK 
BT ES 22,1712, + a — %,)T3 (a — F,) 


$3.2 LADE 强 相合 条 件 可 否 改 进 Te 


< 2ed, + 26, =e'8,, c = 2e +2. (3, 40) 
前 已 算得 模型 (3. 38) 的 S, 矩阵 与 d. 的 值 分 别 为 5, 与 水 一 1 十 
6,<23,( BW 2 p/n). EAS. 1 及 定理 3, 2 证 明 过 程 中 所 得 ( 例 
如 (3, 36) 式 ) ,对 充分 小 的 7>0, 有 
P (ame ba] 
此 处 仍 如 前 ,以 |al 记 向 量 a 的 各 分 量 绝对 值 最 大 者 . 由 于 .<Q 
<26, 而 6,>0, 由 寺 式 得 

P( |T > g/d Dn) S EXP /6). BAD 
此 处 co 是 一 个 与 4 无关 的 正常 数 . 因为 按 (3. 40), 有 
[EA = ETP TA, < (ET ETRA 

< VEVP ITPA 

由 此 及 (3. 41) 得 知 , 若 记 ? 一 es/VEz, 则 
PAZI SO < PUTA] > a JT) < expl cfd.). 


按 对 3. 的 假定 , 知 Dex (cd. <00, AEE cb > 0, 由 此 得 出 
Efo s BOGE A 


§ 3,2 LADE 强 相合 条 件 可 否 改进 


在 2 和 ae 的 公共 分 布 适 合 一 定 的 假设 前 提 下 ,为 使 2 的 M 佑 
计 为 强 相合 ,要 求 {z,} 必 须 满足 什么 条 件 ? 在 § 3, 1 中 ,我 们 曾 见 到 
即使 对 弱 相 合 ,这 个 问题 也 解决 得 很 不 彻底 :除了 对 LSE 有 比较 
完整 的 解决 外 ,只 是 对 LADE 有 了 部 分 的 解决 ,而 对 一 般 的 凸 函 
数 p, 则 只 有 很 初步 的 结果 ,对 强 相合 来 说 ,问题 解决 得 更 差 了 :也 
ABE LSE 的 情况 下 , 黎 子 当 等 在 1979 年 的 工作 ( 见 文献 [44]) 得 
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出 了 基本 的 结果 . 他 们 证 明了 :在 误差 ce:,… 为 iid.,，Ee;=0 且 0 
乓 Eee<co( 条 件 还 可 以 适当 放宽 , 见 文 献 [44]) 的 假定 下 ,S- ->0 
FE 所 的 LSE 强 相合 的 充 要 条 件 . 此 处 问题 的 要 害 在 于 条 件 57' 一 
0 的 充分 性 . 因为 前 此 已 知 ( 见 文献 [27]), 对 LSE BHATE, S 
一 0 为 必要 的 ,因而 对 强 相合 来 说 ,当然 也 为 必要 的 . 但 是 否 强 相合 
的 必要 条 件 更 严 些 ? 在 黎 子 良 等 的 结果 之 前 并 不 明显 . 现在 既 已 证 
明了 Si' 一 0 对 强 相 合 的 充分 性 , 它 当然 也 就 是 无 可 改进 的 强 相 合 
必要 条 件 了 . 

除 LSE 外 ,对 M 估计 强 收敛 的 必要 条 件 问题 ,迄今 知之 甚 
少 .这 个 问题 难度 之 大 ,使 我 们 难以 期 望 它 可 轻易 地 获得 较 彻底 的 
解决 . 本 节 要 证 明 一 个 结果 ,从 一 定 角 度 看 它 ,有 些 必要 条 件 的 意 
昧 ,但 还 不 能 说 是 通常 意义 下 的 必 旧 条 件 . 

定理 3.4 设 在 模型 (1. 1) 中 erez, H iid., med(e)=0, e, 
在 0 点 的 一 个 领域 内 有 概率 密度 六, 了 在 0 点 连续 ,是 0>. 则 对 
任何 常数 串 D, 4 oo 来 说 ,条 件 

d.=0(D,/logn) (3. 42) 
不 再 成 为 的 LADE 强 相合 的 充分 条 件 , 

这 个 结果 的 含义 ,从 充分 性 的 角度 是 易于 解释 的 . 前 已 证 明了 
d,=0(1 /logn) Xt LADE Â, 强 相合 是 充分 的 . 自然 要 问 :能 否 把 这 
条 件 再 减轻 些 ? 即 能 和 否 以 一 个 趋 于 co 较 iogn 为 慢 的 函数 a(n) 来 取 
WÈ logn, BIRAJ a(n) 4 co, logn/a(n)—00 {0 d,=0(1/aln) ME 
A 强 相合 的 充分 条 件 ? 本 定理 的 结论 说 明 , 这 在 “总 体 上 ?不 可 能 . 
就 是 说 ,如 果 a(n) 满 足 上 述 条 件 , 则 必 可 找到 模型 (1. 1) ,其 中 e,， 
es，… 满 足 定理 3, 4 中 的 条 件 ,而 d,=oC1/a(n)), 但 有 i 不 为 强 相 
合 . 这 并 不 是 说 ,对 于 任 一 个 特定 的 满足 定理 3, 4 条 件 的 模型 
(1.1), 条 件 d, = 0 Ci/logn) — E 7 BY ik. 例如 对 p = 1 
也 = 十 e, 若 e 为 iid.， 公 共 分 布 为 R( 一 1,1), 则 只 要 lim |x, | 
一 co, 必 有 及 为 强 相合 ( 见 $ 3. 1 之 前 的 那 眉 论证 ). 

定理 3. 4 的 意义 在 于 :者 把 d. 趋 于 0 的 速度 作为 一 个 尺度 , 则 


$3.2 LADE 强 相合 条 件 可 否 改进 "79° 


1/logn 这 个 数量 级 是 一 个 “门槛 ”, 高 于 这 个 “门槛 ”者 能 保证 强 相 
合 性 ;而 低 于 它 的 则 不 行 . 
下 面 转 到 定理 的 证 明 , 先 证 明 几 条 引 理 . 定义 一 串 常 数 {C.} 如 
下 :不 妨 设 =1. 4 
C.=V7D,, C. = min(C,_, + (logd, VD) (n> 2). 


(3. 43) 
引 理 3. 4 序列 {C.} 有 以 下 的 性 质 ， 
C. = oD), (3. 44) 
1=C, KCK foo, (3. 45) 
nC,/logn too (n > 3), (3. 46) 
C,/ogn ¥ 0， (3. 47) 


nC,/logn 一 (n — 1)C,-i/log(n — 1) 
> C,(log(n — 1) — 1)/Gogn + login — 1)) (n > 3), 


(3. 48) 

nC, /logn — (a ~ 1)C,.../log(n — 1) 
<C,/logn (n È 3), (3. 49) 
exp(Ct/logt)/ Vlogt $ 《〈 当 上 充分 大 )， (3. 50) 


式 中 C>0 为 常数 . 

证 由 (3.43) 和 Css VD, =0CD,) BY. 43). 为 证 (3. 45)， 
注意 , 若 Ci + (loga) SVD, , BC, = Cr + Calogn 
Cr EFR. C= VD. > YD, SC. BEA CC, 
因此 a=limC, <0 ff tf. & ax<oo, MAA Droo, 4n HA, 


HA Cat Cogn) < VD, HY n EK. A C, = Ca + 
(nlogn) .而 这 将 导致 
C, 一 Co 十 J, Glog) “| + 20,24 n > oo, 


amt 
这 与 aot FH. 故 必 有 a=co ,这 证 明了 (3, 45). 而 (3.46) 是 显 
RY, AA CAs "之 3 时 也 有 n/logn t. AE. 47) .注意 , 按 
(3. 42) 有 CSC. 1 十 (nlogn) ,因而 
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Cy <1 + DS) ogi): = Oog logn). 
名 


这 证 明了 C,/logn—0. 
RAW loge—log@:— Dn !, 故 有 
C,-1/log(n — 1) — C,/logn 
> C,.,/log(n ~ 1) 一 (Cys + (nlogn)-!)/logn 
= C,- (logn — log(n — 1))/Cloga + log(a — 1)) 一 (zlog2z) 
> (nlogn + log(n 一 1))- — (alogèna) > 0 (n> 3). 
这 证 明了 C./logn + , 因而 证 明了 (3, 47) (此 处 还 利用 了 Cr- 2C, 
二 1). (3. 49) 容 易 由 (3. 47) 推 出 来 : 
nC,/logn 一 (n — 1C,_,/log(n — 1) 
= C,/logn 一 (n — 1)(C,_,/log(n — 1) — C,/logn) 
<C,/logn. 
为 证 (3. 48), 由 上 面 的 等 式 出 发 ,并 注意 
oO Te, 
有 nC,/logn — (a — 1)C.i/log(n — 1) 
= C,/logn — (n — 1)(C.-i/logln — 1) — C,-:/logn) 
= C,/logn — (n — 1)C,-, (logn — log(n — 1))/ 
(logn + log(n — 1)) 
> C,/logn — C,-1/ logn + login — 1)) 
> C./logn — C./ Cogn .logo — 1)) 
= C,(log(n — 1) — 1)/(logn + log(n 一 1)). 
最 后 , (3. 50) 可 以 直接 由 对 函数 (logt) "exp (Ct/logt) 求 导 而 得 
出 . 引 理 证 毕 - l 
313.5 定义 
x1=1,z;= (Ci/logi) ?exp(2 iC,/logi) (122), 
3 一 好 十 … 十 zy 
则 有 


(3.51) 


x; 400,247 BAK, (3.52) 
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maxz?/S„, = o(D,/logn). (3. 53) 
Iisa 


证 BA doga—1)/logn) >1—2lnlogn) , 4 n KAKA 
Tal £n Z> (1 — 2inlogn) exp(27' (nC, /logn 
— (a — 19C,-,/log@ — 1))). 
由 (3. 48), 4 n XAKI A 
nC,/logn 一 (n — 1)C,-,/log( — 1) 
I 2°'C,/logn > loga)". 
故 当 充分 大 时 ,有 
Xf Tn 1> (1 — 2(nlogn) !')exp((dlogn)™!) 

SC — 2Grlogn)-')C1 + (4loga)™™) > 1, 
因而 证 明了 rto n HK. RA Cro, roof BRN. 
这 证 明了 (3. 52). 

利用 (3.47) ,并 记 到 一 C-/logn. 依 (3. 46) snb, tom. i 


S, b, Deh = bp (eth — e”) / (eh — 1) 


= 1 + 01) et = (1 + oC) )e™. 
由 此 及 (3. 52) ,得 知 当 x 充分 大 时 ,有 
maxzt/S,= 3/8, < (1 + 0(1))b,exp (nb, — nb,) 
= (1 + 0(1))b, = olD./logn). (3. 54) 
最 后 一 步 用 了 (3. 44). 引 理 证 毕 . I 
引 理 3.6 REG. DELIMO = Dyan 则 4 n FE 
分 大 时 ,有 
M(n — [2/6,]) < M(n)/2, (3. 55) 
此 处 如 前 5 二 Cs/logn. 
证 利用 (3.47), 有 


MODE 1b, Det? = Ab, Cel — eh) / (ell? — 1) 


ime 
= (2 + 0(1))b e", (3. 56) 
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另 一 方面 ,有 
Ma<i + D(C/logi) exp(2 1iC, /logi) 
Ea 
[a/2J—1 w 


=1+ D + D S1+Jn tJa (3.57) 
2 i= [m2] 
因为 1/logi<2 (44 i22), %4 n 充分 大 时 ,有 
Tien JC, exp (nC, /dlog(n/2 — 2)) 
KS nCye* = oeh), (3, 58) 


BIBT Jar? HG = [exp (Cat/dloge de. $ EAG. 507, 有 
J ve, dogz) -dH(x) 
[w/2] 
< VC Hint 1)/ vloga + D) 
+ vel" H(x)d(— dogr)-) 
[mw/2] 


< VC, Ht 1)/ Mog@ +1) 
+ VTH (n + D(og [n/2] — log (n+ 1)). 
(3. 59) 
因为 当 x->oo 时 ,有 
d(02-IC,r/togr) 一 2 1C.(logz — 1)/log?z 
= 271C,(] + 0(1))/logz, 
知 当 mcc 时 ,有 
Haa + D= (2 十 eaDCr | owe yd exp 2 /logz)) 
= (2+ 0(1))CF login + 1) 
X exp(2°'C,(n + 1D /log(@a + 1D) 
(2 + 0(1))C; logn + exp (27nd, ). (3. 60) 


I 


最 后 一 式 因为 
OLC, Ca + Doglia + 1) — n/logn) 


§3.2 LADE 强 相合 条 件 可 否 改进 83+ 


<C,fiogn > 0, 
由 (3. 57)~ (3. 60) ,得 
Ma (2 + 01))C, “Mlogn/ log Gr + 1)e™’ 


= (2 + ob em, (3, 61) 
将 此 式 与 (3. 56) 结 合 ,得 
Min) = (2 + 001) 8, ee", (3. 62) 


由 (3. 47) 和 (3. 62) ,得 
Min — (2/6 D< (2 + eC) be" 
X exp(2™ (n — [2/b, DC. og (a — [2/6,])). 
(3. 63) 
因为 
lim[2/6, JC,/log Cr 一 [2/b]) = 2, (3. 64) 
nC, /log(n — £2/b,}) = nb, + OC /logn), (3.65) 
由 (3. 63) 得 知 , 当 半 充分 大 时 ,有 
Mn — [2/8] 
< (2 + ohy ee < M(n)/2, (3. 66) 
这 证 明了 (3, 55). 从 而 引 理 证 毕 . 1 
现在 回 到 定理 3. 4 的 证 明 . 先 考虑 模型 (1. 1)p 一 1 的 情况 . 按 
(3. 51) 定 义 {z,) TEBE e1,es,… 为 iid.， 其 公共 分 布 定义 如 下 : 找 充 
分 大 的 自然 数 入 ,使 /三 e-“*“*<<1/2. 令 
Pte, = x)= Ple, 一 一 工 ) 
= en (BN), (3.67) 
而 在 区 间 ( 一 zwyzw) 内 ,ee 有 密度 (1 一 20)/(2zw). 这 样 定义 的 {ei) 
显然 满足 定理 3. 4 中 的 要 求 , 并 且 根据 引 理 3. 5, 条 件 (3. 42) 满 足 . 
但 在 下 面 我 们 要 证 明 :p, 的 LADE 2, 不 是 强 相合 的 
不 失 普 遍 性 , 设 B。 一 0, 故 了 .二 ei. 对 每 个 整数 之 2, 令 m= 
[klogk], ms—ne—[2/bo,])- 此 处 如 前 , 记 5 二 Cn/logn. 定义 以 下 事 
件 ， 


Ei= (ez me Sim), (3. 68) 
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E,= le Zan, me SECm), (3. 69) 
根据 引 理 2. 1 和 引 理 3, 6, 可 知 当 充分 大 而 事件 E 发 生 时 ,有 Aa 
21. 因此 ,如 能 证 明 

PlEi,i.0.) =1, (3.70) 
W P(p. 一 0)=-0, 而 访 不 是 强 相合 的 . 
为 证 (3. 70) ,注意 按 (3, 52) 可 知 , 当 上 充分 大 时 ,有 BDE, 
故 只 须 证 明 
PE,,i0.) 一 1. (3.71) 
Hee MAR m 的 定义 ,当天 充分 大 时 ,有 
PEQ= Ple, > x,y"? 


= Cexp(— C,,/4) 4/341 


> exp| 一 Z loge + log loge) 一 cu 
> exp| 一 3 dogk + log loge) ) 
> exp(— logk) = k~. (3. 72) 


此 处 用 了 由 (3. 47) 79 HEN C,,<logm =~ logk CH k FESPA). 由 
(3. 72) ,根据 Borel-Cantelli 引 理 , 即 得 (3. 71), 因 而 有 (3. 70). 这 
就 完成 了 p= 1 时 定理 的 证 明 . 对 一 般 的 p, 用 a 记 由 (3, 51) 所 定 
义 的 二 ,然后 定义 一 串 户 维 向 量 mvzz,… 如 下 ; 
Tipa; = (00ra 000 Sfp; i= 0,1,"), 
i (3. 73) 
其 中 a EAM ro PER j 个 分 量 . eez,… 的 定义 如 前 , 则 条 
件 (3. 42) 成 立 .但 易 见 B 的 LADE A, 的 任 一 分 量 不 以 概率 1 收敛 
于 Bo 的 相应 分 量 . 定理 3. 4 证 毕 . 1 
注 由 此 定理 与 定理 3. 2 相 结合 ,对 ee:,… 满 足 本 定理 的 条 
件 而 言 ,还 遗留 下 一 个 情况 ， 
d, = O(1/logn) (3. 74) 
尚未 解决 , 即 : 当 e,,e,,… 满 足 本 定理 的 条 件 时 , (3. 7) EE H 
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LADE 强 相合 的 充分 条 件 ? 
§ 3.3 p 不必 为 凸 函 数 的 情况 


本 节 讨论 当 w PUA ARR M 估计 的 强 相合 问题 , 首先 
要 说 明 一 下 ,为 什么 在 讨论 M 估计 的 弱 相 合 时 ,我 们 只 涉及 p 为 
凸 函 数 的 情况 . 这 是 因为 ,对 不 必 为 凸 类 数 的 情况 ,现今 我 们 知道 
的 方法 在 大 多 数 情 况 下 (有 些 不 重要 的 例外 ) 总 是 或 者 能 证 明 强 相 
合 , 或 者 什么 也 证 明 不 了 , 固然 强 收敛 的 条 件 一 般 总 是 高 于 弱 收 
BRT 2 为 非 凸 函数 时 也 应 如 此 ,但 必须 找到 其 实质 差别 所 在 , 才 
有 较 大 的 意义 . 

一 、 自 变量 X 为 随机 向 量 的 情形 

假定 有 一 个 p 维 随机 向 量 X( 自 变量 ) 和 一 维 随机 变量 Y( 因 
RE) HX 和 了 联系 在 一 个 线性 模型 内 ,其 意义 如 何 ,我 们 再 作 
一 点 解释 : 

一 种 解释 是 :对 给 定 的 Xx 考虑 Y 的 条 件 分 布 Yiz. 设 此 条 
件 分 布 的 某 一 特征 (如 期 望 .中 位 数 之 类 ) 为 x 的 线性 函数 at 
z'Bo, 作 为 这 样 的 特征 ,通常 (不 必 一 定 ) 可 以 找到 一 个 阴 数 p, 使 得 
BY Z, 记 一 个 其 分 布 与 Yiz 相同 的 随机 变量 , 则 函数 Ep(Z- 一 
4 一 zx'B)( 作 为 a、8 的 函数 ) 在 < 一 om 和 B= 8 处 达到 最 小 . ER sa, 
BRS x ER 这 个 解释 实际 上 是 一 个 假定 ,与 XX 非 随机 的 情况 
相同 . 

另 一 种 解释 是 ,从 线性 逼近 的 角度 着 眼 , 有 了 XX 和 了, 现 要 用 
的 一 个 线性 函数 "十 X' KRE YTS a 8 取 何 值 时 , 珊 近 
最 好 ?而 所 谓 “ 允 近 最 好 ”, 则 理解 为 对 选 定 的 p, 作 为 .8 的 函数 
EplY 一 a 一 X'P) 在 a 二 mw 和 一 B, 处 取 最 小 值 , 则 ao 十 X'P, 副 近 最 
好 . 

第 一 种 解释 是 线性 模型 一 词 的 本 意 , 但 如 上 所 说 , 它 实在 是 一 

个 假定 ,并 非 对 每 个 (X ,7) 都 能 这 样 解释 的 . 第 二 种 解释 对 (X,7) 
没有 多 少 限制 ,但 已 不 是 原来 “线性 模型 "一 词 的 本 意 了 . 显然 ,车 
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am 十 X'Bo 符 合 第 一 种 解释 , 则 必 符 合 第 二 种 解释 . 因为 第 一 种 解释 
意味 着 : 

EY —a—X' Bo) |X=1)=min EC(p(Y —a—X'B)|X=x), 

(3. 75) 

对 任何 ER, AH 

Ep(Y —ay—X" fo) =min Ep(¥—a—X'8). (3. 76) 
反之 ,由 (3, 76) 一 般 不 能 推出 (3. 759 — A ee RY 成 立 . 故 由 
mm 十 X' Bo 符合 第 二 种 解释 一 般 推 不 出 它 符合 第 一 种 解释 . 

由 此 可 见 , 我 们 只 须 在 第 二 种 解释 的 模型 下 来 证 明 M 估计 的 
强 相合 性 . 所 得 结果 必然 也 适用 于 第 一 种 解释 的 情形 . 

下 面 的 定理 是 本 段 的 主要 定理 ， 

定理 3.5 WXY, KY) e EAX Y) PA É iid. 
HK, â A) PRA 


Sow, —a~ zh) = 最 小 (3.77) 


的 一 个 解 ( 它 是 作为 下 文 Cesyp ?的 M 估计 ). 假定: 
lp 在 及 处 处 连续 ,内 存在 c, 使 在 [ccc) 非 降 , 在 
(一 oose] 非 增 . 
2° plo) =pl- co) =. 
3° 对 任何 的 aE RR RER SAB 
Qla, PI=E( WY —a—X' 8) 
存在 有 限 E Q 有 唯一 的 最 小 值 点 Ca。,Bo). 
MH nook}, H 
å, > as Pa — Bor as. (3.78) 
本 定理 的 证 明 分 解 为 以 下 两 个 引 理 ,不 失 普 遍 性 ,我 们 在 以 下 
总 设 : 
@=0,8,=0. RR r>did 4 一 [一 rr] 三 一 [一 ”站 
引 理 3.7 ik Cau. Ba) WHC BMRA A 时 极 值 问题 
(3.77) 的 一 个 解 ,z 之 0. 则 在 定理 3, 5 的 条 件 下 ,有 
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aa 0, fuo as. GHn 00), (3. 79) 
证 itp’ (Y¥—a—X' 8) =e(Y—a—X'B)— py), 
Q (a, B)=E(p" (¥—a—X'B)). 
TE FUERTE K(X, Y) 20, E(K(X,Y))<0o, HL 
sup{ |e" Y — a — X'P) | + (a8) € Ai} < KY). 
(3. 80) 
SRL BU ab) ASKTH2 12 A 的 顶点 , 则 由 定理 的 
条 件 1*, 易 见 当 p' Ya- X'B) SOM A 
Y-a- Xe max, |e" (Y — a; — X'b) |. 
若 p* (¥—a—X' A) <0, W le" Y —a—X' PKP ~ pC). 
BLK (X.Y) = max |p* (¥—ai— 2'b,) | +7) ~ POR. 
根据 (3. 80) Be p 的 连续 性 ,由 控制 收敛 定理 , 知 Q* (a, BYE 
(a, PER. 再 根据 条 件 3"( 回 包 已 设 m==90, p==0), 妓 知 对 任何 
eE (0,0), 有 
q =inf(Q' (a,P):(a,8) € A, — A} > 0. 
RK a € 《0,9/5), 又 选 充 分 大 的 mm, 使 (7 为 指示 函数 》 
EUX Y) € AIKOKX,Y)) <a. (3, 81) 
i g=sup{|y—a~az'b| (x ry) € Any (ab!) EAN ,选取 e>0, 使 
sup{lplu) — pte) |: [my] Serial Ses 
lu, — wl <ae}<a, (3. 82) 
然后 选取 6 > 018 
sup{|(a + 2b) — (G + 2'5)|1(a,b') € AGB) € As 
la ~ äl S es lb — Fi Sela] £ V Em} < er (3. 83) 
在 A 一 A 中 选 一 有 限 集 S ,使 4, 一 4, 中 的 任 一 点 与 S 的 距 
腐 不 超过 es. 又 令 
KO -人 E Ans 
0, 其 他 ， 
则 由 9 的 定义 与 (3. 81), 应 用 强大 数 定律 , 知 以 概率 1 当 ”充分 大 
BE XP, FOES. WA PRR ALL: 


Ji) = 1 — Jili), (3.84), 
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aD p Yä- DI) > Eo" Y-a P) 
ZEK (XI UX ,YYEAn))— Eq — 23e (3. 85) 


n D KYONG) <en. 


(3. 86) 
Hi (3. 85) 和 (3, 86), IHEM Ca, BCA — AGA 
“> ew, — a — Xp) 
a 
Sat pF, — a — XDR 
f 
=n DS KYD 
SnD) ot, — a XDI 
气 
=r Seo, — exp) 
各 
—p'(,-#—-X BP] 一 6 (3, 87) 


Bab a, B) CSE aal Se 8 —All es. 按 ss 和 5 的 选 法 ,有 
lo" (¥,—a—XB)—p" (Y;,—a— X58) | 
= |p(¥i—a— XB) -pY a XB) |<e, (<i<n). 
由 此 及 (3.87) ,得 


nS) e Y: — a — Xp) 


Sn) e Y,a XDJ G) — 2e 


img 
将 此 式 与 (3. 85) 相 结合 , 即 可 知 以 概率 1 当 a 充分 大 时 ,对 一 切 
(q,8)E4, 一 4 有 下 式 成 立 ， 


cy) p* Y, — a — Xp) pa > 0. 
由 此 推出 :以 概率 1 当 n HA A Can ADE A. 由 >EE 


$3.3 PROS RRO 789° 


性 ,得 (3.79). 引 理 证 毕 . I 
引 理 3.8 在 定理 3. 5 的 条 件 下 , 设 mw= 0,p8,=0, 则 存在 />0， 
使 以 概率 1 当 x RAK A Can ha) E AD 
证 由 条 件 3" 中 (的 叭 一 性 , 易 见 当 e 和 8 不 同时 为 0 
时 ,a 十 XB 不 退化 为 0. 由 此 可 知 , 若 以 3 记 R'*' 中 的 单位 球面 ， 
则 可 找到 e>0, 使 
v = inf{PCla + XB] > E)ta, 8) ES > 0. (3.88) 
取 m RAK AE PAEA) > 1-0/4. $ u=3 + Vom), 
RSHARFRS RS 中 的 任 一 点 与 S: 的 距离 不 超过 u h 
(3. 88) ,根据 强大 数 定律 , 知 以 慨 率 1 当 充分 大 时 ,有 
tt (it 1i<n, lat Xp|>e) nv/2 
ORF HH, PIES), (3. 89) 
H(I, X EAn} >n —v/4) (3. 90) 
(此 处 #{4} 记 集 A 中 所 含 元 素 的 个 数 ), 找 工 >>0, 使 PCY | SL) 
>1 一 v/8, 出 强大 数 定律 , 知 以 概率 1 当 x 充分 大 时 ,有 


# (IKin, |¥,|SL} >n(1—v/8). (3.91) 
取 
K = 8/v, (3. 92) 
HAR PEL” RIFLE A> 0, EH la | 2h |u| SLAY, 
: plu +a) — plu) >K. (3.93) 


现在 定义 /=2h/e, 我 们 来 证 明 : 这 个 2 AS | POR. 
为 此 , 任 取 RON Rab IEA, F(a, P=, HRP 
r= tab > W Ca, BY E S. BK PIES: aal <u, 
W2—Bl<u. 4 XE An Al@tXAl>e te 
ja+Xip\>e— la—a+X(p— P| 

Be |a— 4] — IXJ — BI 

DSe—u—m/pure—U+t/pmu>e/2. 
因而 有 

ja + Xib| > re/2 > le/2 = h, 


-907 第 3 章 好 估计 的 强 柑 台 性 


由 上 式 及 (3. 89)、(3. 90), 知 以 概率 1 当 充分 大 时 ,有 
H(i Kn, la + Xb] Sa} 
之 wv/4 〈 对 于 一 切 的 (o 必 ) EAD. (3,94) 
结合 (3. 91) 和 (3. 94), 知 以 概率 1 当 n 充分 大 时 ,有 
#1 Sign, la + Xb] Zh, |Y] SL} 
Z nv/8 《对 于 一 切 的 (a,6') EAD. (3.95) 
由 (3. 92), (3, 93) 和 (3, 95) , 知 以 概率 1 当 ”充分 大 时 ,有 


De (7; 一 oe 一 Xb) 之 Knv/8==n OF FMW BEAD. 
全 


而 这 导致 了 (6 ,所 )€ An 引 理 证 毕 . 1 

定理 3. 5 的 证 明 直 接 由 以 上 两 个 引 理 推 得 . I 

E p 为 凸 函 数 , 则 定理 的 条 件 ?" 可 适当 减轻 ,看 以 下 定理 : 

定理 3.6 Re ARH, WAR (a,8)=E(p'(Y 一 a 一 
XB) Ca, BE Rrt' 处 处 存在 有 限 , 并 且 Q 有 了 唯一 的 最 小 值 点 
《gos86), 则 (C3. 78) 仍 成 立 . 

证 首先 易 见 , 由 本 定理 的 假定 可 推出 定理 3. 5 的 条 件 1" 与 2" 
成 立 . 据 此 ,从 前 面 的 证 明 可 见 , 只 须 证 明 (3. 80) (K(X,Y) 与 前 面 
的 不 同 ), 则 以 后 的 论证 全 部 有 效 . 

为 证 (3. 80), 分 别 以 a5) ASISTA Cab) (THIS 
STE A Al ALOHA T= 个 顶点 . 往 下 证 ; 

K(X,Y)=2 max |p" Y—a,—X'b) | 
满足 要 求 . 首先 , 匹 ( 民 (X,Y))<co 不 成 问题 . 现在 任 取 (z',?)E 
R= H p (y—a—z' PYS, (af) CAs, WU EH EES. 5 的 条 件 1" 易 
见 
|e" (yaa! P) |S max |p" (yama b) | SK KY). 
B pP oar <0, 则 分 两 种 情况 ; 
ac 十 zip8>>0， 或 atxap<o. 
两 种 情况 的 处 理 相 似 , 故 只 取 前 者 即 可 . 
因为 < 十 之 pB>0, 由 函数 p 的 凸 性 ,可 知 p aas DER 
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y 的 函数 是 非 增 的 Cp 为 凸 函 数 的 假定 用 在 这 一 关键 步骤 ). 由 于 
Cap EAn MEE ST. iE atx! prata b. R ä=a— a b= 
8-6; 5M) d=a+2'b>0, He 

ey @— a Map (y+d—a—2z'f) 

= ply — a, — 2'6,)— ply +d). (3.96) 
HFC 8!) Al a .6)) BMF Ai HEBO © Au 由 定理 3. 5 的 条 件 
1, AFE RLT, IE py t+ D<ply—a— ar b). 以 此 与 (3. 96) 相 
结合 ,并 注意 到 2" (y 一 a 一 x8)<0, 即 得 
le" Cy — @— 2B) |2ly — a; — rb)) 
— ply — a, — xh) | 
< IPO — a, — 2'b,)| 
+ le’ Cy — a — 2'6)| SKC, y). 
这 证 明了 所 需要 的 结果 ,因而 证 明了 定理 3. 6. 1 

把 本 定理 用 于 LADE, 得 出 以 下 的 结果 ,由 于 其 重要 性 , 故 列 
为 一 条 定理 如 下 : 

定理 3.7 设 (X ,7 ),(CX:,7:),… 为 (X,7) 的 iid. 样本 . 假 
定 EXI<o0, 且 E(IY 一 a 一 X'B| 一 1Y|) 在 唯一 的 一 点 (ao,Bo) 达 
到 最 小 . 则 (a。,B,) 的 LADE 是 强 相合 的 . 

在 文献 [20] 中 得 出 过 类 似 本 定理 的 结果 ,但 附加 了 不 必要 的 
Het EY |}<00,¥ —a— X Boj X 独立 , 且 当 a 与 8 不 同 为 0 时 ， 
PlatX'B=0)=0. 

如 果 十 X' po 符 合 第 一 种 解释 ( 见 8 3. 3 第 一 段 ), 则 我 们 也 可 
以 使 用 条 件 化 的 方法 ,依据 $ 3. 1 中 的 结果 ,对 p 为 凸 函数 而 为 
随机 的 情况 ,导出 有 关 (8 的 M 估计 的 强 相合 性 的 一 些 结果 . 
这 种 结果 在 形式 上 比 定理 3. 6 复杂 得 多 ,其 条 件 也 比 定理 3. 6 的 条 
件 苛 刻 得 多 ,因此 没有 多 大 意义 . 这 一 点 与 前 一 章 所 讨论 的 弱 相 合 
不 同 : 对 弱 相 合 来 说 ,X 为 随机 时 的 定理 2. 5 很 容易 由 X 为 非 随机 
时 的 定理 2. 1 导出 来 . 

以 LADE 这 个 例子 来 说 , 若 了 X=z 有 中 位 数 at X’ Bo W 
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为 要 使 用 定理 3. ?以 导出 关于 (au ,85) 的 LADE 强 相合 性 ,就 要 假 
定 存在 与 无 关 的 常数 >0.1,>>0, 使 对 一 切 xEB, 其 中 (XE 
B) 一 1, 有 
POLY- e—a By<h|X=z) Shh (Ohh), 
P(—hLY— aa Bo<O|X=2)2Uh OChL), 
且 以 概率 1 有 


max F(S;'%, = o(1/logn) (3, 97) 
ISG 


BOL BH B= C20)! Sa DO E 为 了 保证 (3.97) 成 立 , 除 
T X BSA AEE R 中 任 一 超 平面 以 外 ,一 般 须 要 求 ， 
E(|X|'log |X|]. < co, (3.98) 
由 (3. 98)( 加 上 X 不 退化 ?推出 (3. 97) 的 证 明 留 给 读者 . 可 以 举 出 
反例 证 明 : 即 使 ElXI*<<oo 也 不 能 保证 (3. 97). 一 个 齐 次 模型 (其 
中 已 知 ww 一 0, 不 须 估计 ) 的 反例 如 下 : 设 六 为 一 维 , 取 YN (N= 
1,2,…) 为 值 , 当 N=w", 面 4 一 2,3,… 时 ,P(X= VN)= 
c/(N ViogN)， 对 其 余 的 N， 则 P(X= /N)=c/N. 选择 


c>0, 使 估 P(X 一 VN) 一 1. 证 明细 节 也 留 给 读者 . 

BABE otr Ai VIX =r 的 唯一 中 位 数 , 则 是 否 在 
免 去 条 件 EXI <o, MBEE Caf) LADE 强 相合 性 ?有 
一 些 理由 可 信 答案 是 肯定 的 . 若 真如 此 ， 那 将 是 有 关 X 为 随 宙 时 
LADE 强 相合 性 最 深刻 而 彻底 的 结果 ， 

定理 3. 5 处 理 了 2 无 界 的 情况 . 当 P 有 界 时 ,有 如 下 的 结果 : 

定理 3.8 保留 定理 3, 5 的 条 件 1" 和 3", 将 2" 修 改 为 CCco) 一 
p(—cc) 之 %, 且 设 当 a、8 Riel HOM, PCat X’B=0) =o. 则 
G. 78) RIA RAL. 

证 明 大 体 上 类 似 定 理 3. 5 A LAE A A. 

问题 当 P(co) 天 P( 一 22) 时 ,情况 如 何 ?这 一 点 看 起 来 似 非 
本 质 的 ,但 迄今 尚未 得 到 任何 结果 . 

二 、 自 变量 为 非 随机 的 情形 
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在 这 种 情形 ,没有 必要 突出 常数 项 a,, 因 此 ,我 们 仍 同 到 模型 
《1.1). 与 瑟 为 随机 的 情形 相 比较 ,在 这 种 情况 下 所 得 的 结果 还 很 
欠 完 整 .即使 在 o 为 凸 函 数 时 ,如 在 § 3.1 所 见 , 问 题 离 彻 底 解决 也 
相去 甚 远 . 对 p USE AE ,当然 更 是 如 此 . 

定理 3. 9 HERA. DP RE esez, iid. UB, 记 利 
HAR o 所 作 的 M 估计 . 设 满足 以 下 条 件 ; 

1° 定理 3. 5 的 条 件 1"、2° 成 立 . 

2° 对 任何 实数 1,Ep le, +t) 之 oo. EH t RI, Eple HOR 
唯一 最 小 值 点 0, 且 存在 常数 c>0, 使 当 |i 充 分 小 时 ,有 


E(ple +t) — Pei)) ct (3. 99) 
3° {X} 有 界 , 且 若 以 人 记 S,= Dyra 的 最 小 特征 根 , 则 
lim inf A,/n > 0. (3. 100) 


从 而 (3. 78) 成 立 ， 

与 定理 3. 5 比较 ,此 处 条 件 2" 的 前 一 半 大 体 上 相当 于 定理 3. 5 
的 条 件 3". 其 后 一 半 , 即 (3. 99) 实 质 是 要 求 0 这 个 唯一 最 小 值 点 有 
一 定 的 “鲜明 度 ”, 是 附加 的 要 求 . 即 值 在 弱 相 合 问题 中 ,我 们 也 曾 
指出 过 这 种 附加 要 求 并 非 是 多 余 的 . 

重点 的 部 分 是 条 件 3". 从 根本 上 看 , 自 变量 为 非 随机 的 情况 之 
所 以 比 随机 的 情况 复杂 ,在 于 当 X 为 随机 时 ,{X:} 的 分 布 有 其 概 
率 上 的 规律 性 ,并 非 完全 杂乱 无 章 . 而 在 XX 为 非 随机 时 , 则 (20) 
这 一 规律 性 . 故 需 要 设 下 一 定 的 限制 ,以 约束 其 “不 良 表现 ”. SE 
理 3. 1 相 比 ,定理 3. 9 对 {x,} 的 条 件 要 强 得 多 . 但 另 一 方面 ,加 在 p 
上 的 矩 条 件 则 有 显著 的 三 弱 . 这 两 方面 的 条 件 总 是 互 为 消长 的 . 

本 定理 证 明 比 较 复 杂 , 故 分 解 为 以 下 几 条 引 理 : 

引 理 3.9 设 6 为 iid.，p 满 是 定理 3. 5 的 条 件 1", 且 对 任何 实 
数 1,Eplel 十 ) <<o0. 设 {c,} 为 一 申 有 界 实数 , 则 


lima D (ple) Eel to)) =0, as 
证 此 引 理由 Kolmogorov 强大 数 定律 的 下 述 推广 而 得 出 ; 
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设 {) 为 一 串 独立 随机 变量 ,而 {7} 为 id， 天 ||<ce, 且 对 一 切 
| 二 | 及 |; 则 人 6} 服从 强大 数 定律 ， 
上 述 断 言 的 证 明 如 下 :给 定 es 之 0, 找 充分 大 的 天 ,使 
ER In |>K)) SE 


将 Kolmogorov ASE AF {17117 | 2K) i21) A 
2S) [nal SK) EURIARI SK) Ke asu 
另 一 方面 ,因为 |&|<<Iw1 GDA 
SGI2R)SEIN IIR >K) G21). 
于 是 有 od ECEWCE (2K <2 UR 


lim sup(n 5D I&S S K)) <e, as. 


oT 


因为 随机 变量 序列 {S17($ |< K) ,i 之 1) 一 致 有 界 , 故 必 满 足 强大 
数 定律 . 因此 


Ton DRIEL <K) STEELE | < K) 0, a.s.. 
总 结 以 上 诸 式 ,并 注意 
| Se — Doze 


im imi 


<a | Sere <K) — DEEE < K | 
S 


mi 


+n SECS [E61 >K) 


42 SIGUE > K), 
得 
lim sup(2™ | > ~e6| ) < lim supJ, +e +e = 2e, a.s.. 


因为 这 一 结论 对 任 给 的 > OME. ATENT EENS. 
现在 不 难 证 明 本 引 理 . 记 c= sup lc. l 因为 函数 满足 定理 


$3.3 pRULBAR RMR 195+ 


3. 5 的 条 件 1°, 故 有 
Ple + i) — POS (ple; 十 co) — phe)) 
+ (ple, 一 co) — ple). 
注意 到 < 是 p 的 最 小 值 点 ,可 知 若 把 上 式 左 、 右 两 边 分 别 记 为 所 和 
8，" 则 以 上 证 明 的 断言 可 用 . 从 而 得 到 所 要 的 结论 . 1 
引 理 3. 10 RAR 满足 定理 3, 9 的 条 件 1" 和 2",{z,} 为 有 界 
点 列 ,B 为 有 界 子 集 ,e 为 iid.， 则 下 述 断 言 “RRA 


mple sh) Epli) Ge) 
在 8 上 为 等 度 连续 "以 概率 1 RE. 
证 以 下 记 e 的 分 布 , 作 概 率 空 间 (R™ SFO) Rh AS 
是 Re 中 一 切 Borel 集 所 构成 的 o- 域 . 记 
T=sup{ |xi8| #1, BEB). 
根据 假定 ,有 T<. 现在 固定 自然 数 m MRA A>, tE 
E(ple, +TM le + T) > h)) 
+ Eple, — TI (ple, — T) AY) < Bm). (3.101) 
根据 对 p 的 假定 ,可 找到 > 0.8 
| pe) plu) [SG3m) 7 ,|u| 
E min (pu) Cuz) <A Bf. (3. 102) 
再 找 6. > 0,184 8 加 都 属于 8B, 而 距离 不 超过 em 时 ,有 
sup |z.(B — D| Se. 
由 (3. 101), 使 用 强大 数 定律 ,可 找到 自然 数 N。 RR 
D,E” E FOD) <2", E nNa B e' =le) 
七 Dn 时 ,有 


nD ele tT ple t+T2h) 
= 


tn >) ele TI (ee —T)FAY<(3m)“ (3.103) 


AA ini BRARTI p ÆRE, IER et ER, IRE ey Ce") 
>04 p BRAT BRB ABH enle ) 时 ,对 1<m<N。 
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同时 有 下 式 成 立 ， 


nS) (pe, ~ xB) — ele; — ER) | < Gm). 


全 
(3.104) 
取 ene" )=min (Em Eee” )), 
Me EDP 与 都 属于 B, 且 距离 不 超过 e(e*), 则 当 
1< ns<N。 时 ,有 (3.104). 若 a>>N。, 则 注意 到 p HIER. A 
[a DeeDee K+» (3.105) 
i=l 
其 中 
J= n Dole, — 2 PI e, — xB) Sh); 


J= n Dole, ~ DIe, — rD Sh); 
z 


Jia 


SY (ote, — xB) — ple 一 二 8))|. 


J 中 的 > 表示 求 和 的 范围 为 ,1<i<n, 且 
min(ple— zp) ,ple— zB)) <A. 

按 前 面 的 论证 ,1 和 J; 都 不 超过 (3. 103) 的 左 端 , 故 都 不 超过 
(3m) .而 根据 Ensim A se" ) 的 定义 以 及 (3.102),J; 的 和 中 每 
一 项 (不 计 因 子 nO MBAR AL (Bm) Kym) .综合 上 述 
可 知 ,对 每 个 e* EDn FETE enle) 4 PP RAT B 且 其 距 
HREN enle ) 时 ,对 任何 之 1(3.104) 成 立 ,但 右 端的 (3m)"' 要 
BRA mo, 

BS D= f) Ü Da U F7 (D)=0, HY e ED 时 ,对 充分 大 
BY m A et EDan HULA A. 4 e* ED at, KAA 
(Se — 2,8)/nin > 1 


‘1 


等 度 连 续 , 即 以 概率 1 为 等 度 连续 . 故 为 证 本 引 理 , 只 须 证 明 函 数列 
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[È Eee- B)/ninS 1) 在 B 上 等 度 连续 ,这 立即 由 ei 为 iid.， 


Epler +e) (229 c 的 函数 在 R! 处 处 连续 ,以 及 BB 和 {zx} 都 有 界 可 推 
出 来 . 引 理 3. 10 证 毕 . 1 
结合 引 理 3. 9 和 3, 10, 经 过 一 些 例 行 推导 , 即 可 得 到 以 下 引 理 ， 
313.11 设 引 理 3. 9 和 3, 10 的 条 件 都 满足 , 则 以 概率 1( 当 
e" 蕊 了) 成 立 ; 当 a>oo 时 ,>) (ple: —aiB) — Ep(e:—2iB))/n E B 
a 
EB 上 一 致 收 但 于 0. 
引 理 3. 12 设 定理 3. 9 的 条 件 2*、3° 满 足 , 而 B 为 R 的 有 界 子 
集 ,e>0. 则 
1* 存在 只 与 BB 有 关 的 常数 b>0, 使 当 充分 大 时 ,有 
DIE le: — iB) — pled) /nolBl C4 BE Bs 
a 
2° XFCS e > O,lim inf (ink (H lin cpl >e)s 
IIe} /n}>0. 
证 1° 根据 定理 3. 9 的 条 件 2" 以 及 {z:)} 和 瑟 省 有 界 , 易 见 存 
FEM o> 0.48 Elerh) ple) Zah. 于 是 


DE, — 258) — ple /nS ep Sais/n) B. (3.106) 


按 (3. 100) , 知 存在 A> 0, EM n 充分 大 时 ， Eazi >in, 故 由 
(3. 106) 得 知 当 ” 充分 大 时 ， 
DECC. — 218) — ple,))/n > callB|? = ell All? 

对 PEB 同时 成 立 . 

2° 用 反 证 法 ; 若 结论 不 成 立 , 则 存在 自然 数 子 列 {n'} R 中 点 
Bi Bos ;满足 |B8w 中 之 ,及 一 串 ey 4 0, 184 n roo ttt A 

cr# Sin | zB en) /n' +0. 

记 M=sup{ lal? .¢21}.4 
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pa i <n + neeM|B. |? 
从 而 有 
Ae lle ll? SH + merM «Na, 
注意 到 pv >evev 4 0 及 co, MM ERS (3. 100) 矛 盾 , 从 而 有 结 
2. 引 理 证 毕 ， | 
现在 不 难 完成 定理 3. 9 的 证 明了 ,证 明 的 思路 仍 是 与 定理 3. 5 
一 样 ,所 证 引 理 3.7 和 3. 8 在 此 处 仍 有 效 . 但 我 们 把 那里 的 集合 A 
修改 为 R* 中 以 0 点 为 中 心 ,! 为 半径 的 球体 B= (8 BIL}. 
任 取 eE (0,1), BH 


Dele, = xB) — Ce) /n= D (ele, — zip) — Eple, — 218))/n 
— Sete) — Eple:))/n 


十 >)(Ep(e — 218) — Epted)/n 


=J +J +J, 
根据 引 理 3. 9, 知 以 概率 1 成 立 : 当 nott, JA JA BE 4 一 A 
一 致 地 收敛 于 0. 而 根据 引 理 3. 12 的 1", 当 not APE AA 
一 致 地 有 ec (c 为 某 个 大 于 0 的 常数 ). 由 此 可 知 ,以 概率 1 成 
立 : 当 充分 大 时 ,有 


inf {Src — 218) — PeP E Ar AG > 0, 
f=. 


而 此 式 意味 着 当 n 充分 大 时 ,pl<e,A. 与 引 理 3. 7 中 的 所 相 同 
(AEA 改 为 现在 的 B). 由 es>0 的 任意 性 ,可 知 引 理 3. ?的 结论 
适用 于 此 处 的 情况 . 

引 理 3. 8 也 适用 于 此 处 ,其 证 明 与 前 而 X 为 随机 时 的 情况 相 
同 . 事实 上 , 细 察 引 理 3. 8 的 证 明 , 可 见 关键 在 于 定理 3. 5 的 条 件 3 
中 (coy8o) 的 唯一 性 及 (3. 88) 式 这 两 点 . 前 一 点 的 作用 由 定理 3. 9 
的 条 件 2* 起 到 ,而 后 一 点 的 作用 则 由 引 理 3, 12 的 2* 起 到 ,细节 上 完 
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$3.3 pADPR BRORE + 99° 
SAUL TELAT 定理 3.9 证 毕 ， 上 
注 RADE RAON Y. =a tr hte. MERT TIERE 
定理 3. OMN ERT A F EBER GB E= x/n, 以 多 记 


D Gia) (a, 3)! RAPE HB Bg SR ES BI 
lim inf %/n > 0, (3. 107) 


证 明 唯一 需要 改动 之 处 是 引 理 3, 12 的 2" 要 用 
lim inf {inf # G1 SiS n, la + zB] > eilep) S E)n) 


>0 
KRE. 这 是 很 容易 由 (3, 107) 得 到 证 明 的 ， 
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M 估计 的 渐 近 正 态 性 
考虑 线性 回归 模型 (1.1), 即 模型 


Y, = a/R +e G= lesn), (4.1) 
RAY, 和 ,分别 为 第 i 次 观测 值 和 试验 误差 , (2 HEM p 维 
点 列 ,PB 是 未 知 的 p 维 回归 参数 向 量 . 
如 前 所 述 ,为 估计 B8,, 可 由 (1.5) 式 定义 它 的 一 个 M 估计 Bs 
即 对 选 定 的 函 教 p:R' 一 R' ,定义 有 为 极 值 问题 


Pp, — zh) = inf DoW, — 22) (4.2) 
BE 


to Ret 


的 一 个 解 .或 者 ,也 可 以 像 某 些 文献 中 那样 ,由 估计 方程 (1. 30), BH 
Dvd, — 2/8)2, = 0 (4.3) 


给 出 B 的 M fit B.A EM WS FRIR 为 一 个 选 定 
的 函数 . 本 章 仅 限于 讨论 p 为 ( 非 单调 的 ) 凸 函 教 及 更 为 增 函 数 
《不 为 常数 ) 的 情形 . 正如 $1. 2 中 所 指出 的 ,在 炙 有 间断 的 情形 ， 
方程 (4. 3) 不 一 定 有 解 . 因此 ,代替 (4, 3) 式 ,本 章 中 将 只 要 求 丘 满 
足以 下 较 弱 的 条 件 ; 

| sire. — x! Az, | =0,(1) (4n-+oo) (4.4) 
此 处 我 们 已 假定 当 a 充分 大 时 ， 


S, = Doxa! 
Ey 


4.1 由 极 信 定义 的 M 估计 的 情形 -10> 


Wp 阶 正定 方 阵 . 

在 前 三 章 中 ,我 们 研究 了 L M 估计 的 强 弱 相合 性 . 在 本 章 
中 ,我 们 要 研究 它们 的 渐 近 正 态 性 ,下 一 章 将 研究 M eit 
的 极限 分 布 . 当 我 们 用 M 方法 对 Aa 作 统 计 推断 时 ,这 两 章 将 为 有 
关 的 大 样本 推断 提供 一 个 理论 依据 . 当然 ,为 了 作出 这 样 的 统计 推 
断 ,还 需要 寻求 多 余 参 数 的 相合 估计 ,这 将 留待 第 5 章 讨论 , 我 们 
将 在 $4.1 和 §4.2 中 分 别 建立 两 种 对 估计 的 渐 近 正 态 性 ,在 
84.3 中 介绍 有 关 的 历史 背景 , 由 于 第 4.5 两 章 需 要 较 多 的 凸 函 
数 的 知识 ,我 们 将 在 附录 中 作 一 系统 的 介绍 - 

我 们 总 假定 &. 是 可 测 的 , 即 它们 都 是 随机 变 痢 . 


§ 4.1 由 极 值 定义 的 M 估计 的 情形 


在 本 节 中 ,我 们 只 研究 由 (4. 2) 式 定义 的 M 估计 A 的 渐 近 正 
ASHE. 为 此 ,引进 下 述 假定 ， 

A4.1 假定 ev,e,… 独 立 同 分 布 (iid. ), 且 e 的 分 布 为 F. 

A4.2 设 po:RI-~ 忆 为 一 凸 函 数 , 殖 _、 严 + 分 别 为 它 的 左 、 右 
FRR OF 下 -和 更. 之 间 的 一 个 画 数 , 即 

P DKFU) SY, (wu) (对 任意 的 x © R). 

A4.3 函数 Glu) 三 E (ei 十 w) 在 w=0 附近 存在 ,有限 ， 
EV (e,)=G(0)=0, AG 在 uw 一 0 AE ERA 

A4.4 0<EW (e)=o'<oo,H 

limE[ We, + u) — PeF = 0. 
AGS FE no 4 nen i}, 


S.= Sat! 
为 REESE, H 
d, = max a'S lz, 0 ( 当 n oo), 
以 下 我 们 总 假定 am. .我 们 有 下 述 重 要 定理 ， 
定理 4.1 设 在 模型 (4. 1) 中 ,A4. 1 一 A4. 5 成 立 . 则 
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SECA, — B) > NCO,A0"T,), 
Hlth. Ty 3 p MERI E seam Ha PAT ae 
关于 这 个 定理 的 证 明 ,我 们 将 采用 Bai Rao 和 Wu 在 文献 
[12] 中 及 Rao 和 Zhao 在 文献 [55] 中 所 用 的 简单 证 明 方法 . 为 此 ， 
4 
Boln) = SÉ Pos tm = So 4x; (i= lyon), 
并 将 模型 (4. 1) 写 成 下 述 形式 ， 


Y= ty Bo(n) +e G= 1s), (4.5) 
其 中 zx 满足 条 件 
D tota =i, (4. 6) 
及 
d, = max |} 2 P+ 0 (eo) an 
1<i<s 


FRA n)=SEB, 即 为 模型 (4. 5) 之 下 Bo(m) 的 一 个 M 估计 . 
这 里 需要 下 述 引 理 : 
引 理 4.1 BD AR 的 一 个 开 凸 子 集 ,{f,} 是 D 上 的 一 列 
随机 西 函 数 , 当 root RET «ED, 
Fa) > Fa), a.s.( 或 依 概率 ). 
此 处 了 是 D 上 的 一 个 实 函 数 , 则 了 在 D 上 也 是 凸 的 , 且 对 DD 的 每 
个 紧 子 集 D, noolt, 
sup | F.C) 一 fj 一 0， as. RR. 
又 车 了 在 DD 上 是 可 微 的 ,bu) 和 Cw) 分 别 表示 f 在 x ORBEA 
Sa E u 的 一 个 次 梯度 , 则 上 述 收 剑 蕴涵 了 对 每 个 这 样 的 Do, 有 
sup MEGY — Su) || 一 0， ars. (或 依 概率 )， 
证 引 理 4.1 的 a.s. 版 本 是 附录 中 凸 函数 的 性 质 3) 和 9) 的 


直接 推论 . 今 对 依 概 率 收敛 的 情形 按 T. Brown 指出 的 “对 角 线 法 ” 
加 以 证 骨 ( 参 看 Andersen 和 Gill 的 文献 [8]). 了 了 的 凸 性 是 显然 的 ， 


ARs za ) 为 万 的 一 个 可 数 稠密 千 集 . WG 
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Fu) , 故 对 (7.) 的 每 个 子 列 ,可 从 中 找 出 一 个 子 列 { 广 ,使 得 
lim fiatu) aff \ias. 
同样 ,存在 { 广 ,的 一 个 子 列 { .4 ,使 
lim Ps(ua) 一 Ce) a.s 
一 般 地 ,存在 { 太 -+ 的 一 个 子 列 { 太 .使 得 
lim fae (en) = fun), a.s.. 
今 按 “ 对 角 线 法 ” 作 子 列 {f，.。} , 则 
lim Fam (ts) = fla), as. G= 2e). 
PALS Fh a AY HEI 3) 和 9) ,对 D 的 每 个 紧 子 集 DoH mco 
时 ， 
sup |S mna) — flu)| —0, as. 《4. 8) 


且 
sup HW SnCu) — E(w) || +0, as. (4.9) 


这 样 就 证 明了 ,对 于 任何 子 列 , 我 们 可 从 中 选 出 一 个 子 列 
{SamI (Emm) ,使 得 (4.8) 和 (4,9) 式 都 成 立 ,由 依 概率 收敛 的 性 
质 , 当 n>oo 时 ， 


supl AGD — Fa) | + 0, 
“ED, 
县 
P. 
sup || bl) — (x) || —> 0. 
R 


这 就 完成 了 引 理 的 证 明 . 1 
引 理 4.2 设 在 模型 (4. 1) 中 ,Ad4, 1 一 A4.5 成 立 , 则 对 任何 常 
数 C>0， 


É i ‘ 1 P. 
i — zay) 一 Wea} 一 二 MY7| 一 0. 
sup | De — P = ped + ess7) — 9 | 二。 
2 Ra 
sup | > (Ple, — 247) — Ple) Jan + x| 一 0. 


Piec| 全 


正如 第 1 章 开头 指出 的 , 17| 表 示 向 量 y 的 各 分 量 的 绝对 值 的 
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最 大 值 . 
证 记 
f= Dele: — aN) — ples) + Eleru) 
=D [7 eto Pedu ERD. 


对 每 个 固定 的 V, h d> 0, imax |znY |0. 再 由 假定 A4. 3 及 规 
范 化 条 件 (4. 6) FE- BIER €, 0 B OE (— 141) ,使 


Ef,)= Èf 7 Godu 
a 
=] +odeDid 
A 


= lx Ly 
=5 ad ora 十 sb > FY. 
由 Schwarz RAR.A4. max |2,7!-0, 


人 E 2 
var fh DE|] tye +0 — ved) 
< Dla: |f EY +t = Pe Fu 


= 01) + Dr) > 0, 
a 
因此 ,对 每 个 YER?， 
so Ayy, y a wes 


利用 引 理 4. 1 即 得 引 理 4. 2. 证 毕 . 1 

下 面 我 们 来 证 明定 理 4. 1， 

证 不 失 一 般 性 ,可 设 模型 (4. 1) 中 的 真 参数 8B, 二 0, 亦 即 模 
型 (4.5) 中 的 Bon) = 0. & 


Bon) = ODI een 
气 
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容易 看 出 ,在 定理 4. 1 的 条 件 下 ,Lindeberg 条 件 成 立 ,因而 
Bon) “+ N(O,X*0"T,) ,3 n> oo, (4.10) 
由 此 得 出 ,15(z)} 是 依 概率 有 界 的 , 即 对 Y e>0, 存 在 常数 C>0， 
4 n>n 时 ， 
Pi 50)| >C} <e/2. (4.11) 
由 引 理 4. 2, 对 任 给 的 ?>0， 


IUPK) sup 


了 7 一 Re) 1 一 人 


Dye — x7) — PY: — 2uB(n))} 


—falir- 


(4.12) 


此 处 1(4) 表 示 和 集合 4 的 示 性 函数 . 由 (4. 11) 及 (4. LOR FE 
分 大 时 ， 


aie ii Doe Tan) 


> Sew, — auB(n)) + 20/4 


之 1 一 6 
由 此 及 的 凸 性 , 当 半 充分 大 时 ， 
Pi || An) — Br) || <0) Sle. 
Rye Ao 都 是 任意 的 , 故 


Bn) — Bin) 二 =- 0, n> o0. (4.13) 
定理 4,1 即 由 (4. 10) RG. 13) 式 得 到 ,证 毕 . 1 
在 实际 应 用 中 ,回归 模型 中 常常 带 有 常数 项 ,因此 我 们 需要 考 
点 以 下 的 线性 回归 模型 : 

Y= a + Th te (G= leesn). (4.14) 
虽然 (4.14) 为 (4.1) 的 特例 ,可 用 定理 4. 处 理 ,但 为 了 统计 推断 
的 目的 ,还 是 写成 下 面 形 式 的 定理 更 为 方便 : 

定理 4. 2 设 在 模型 (4. 14) 中 ,(&,, 记 ) 为 (ao,Bo') 的 M 估计 . 
记 
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Bn, T,= XG — Ba RY. 
设 A4.1~A4.4 成 立 , 且 有 
A4.5” FE ns nèn BT, 为 p 阶 正定 方 阵 , 且 


max (2;— 7 I, i (zz) 0, 当 nm, 
ler 


则 
as Tb, — Bo) > NOT)» (4.18) 
doin (1 + n#,T2'%,)~*( a, — a) * No, 
(4. 16) 
B24 nooti, T4 (6, — BG An [a — a) +E, (8. By) LEME 
独立 的 . 
证 定义 
Be 一 TB aln) = An (ao 十 也 Bo)， 
Yon) = (ay (nd Be! (nd) + 
ti = Ty (a, Ae 
ee (nce) (i=l sn). 
模型 (4, 14) 可 转化 为 
Ysa +e, (=1,,n). (4.17) 


由 于 > zzu 一 or, 且 A45 BRYET max || zu | 0, 5238 4. 1 可 


用 . 设 7 (n) = (en) A Y DRAAID FG M 估计 , 则 
BaF (n) Yo) LN COT p41) ;BS noo. 

由 此 知 (4.15) 式 成 立 , 且 ald = Vm (4, 42,845 Bn) =T 
近 独 立 . 由 此 不 难得 出 (4. 16) 式 . TEE. 1 

下 面 我 们 考虑 M 估计 的 一 种 重要 的 特殊 情形 , 即 最 小 绝对 偏 
差 估 计 (LADE? 或 称 最 小 一 乘 估计 , 它 在 $ 1. 1 的 第 二 段 中 已 有 定 
x 

设 在 模型 (4. 1) 中 ,A4. 1 RY, A 0 为 F 的 中 位 数 .此 时 为 了 
估计 Bo RAE DRE Bb., 它 定义 为 下 述 极 值 问题 的 
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一 个 解 ， 
SY, — 24) = inf DIY, — #8l. (4,18) 
i= ber? rl 
关于 By 的 最 小 一 乘 估 计 扎 的 渐 近 正 态 性 ,我 们 有 下 述 定理 , 它 可 
由 定理 4. 1 直接 得 出 . 
定理 4.3 设 在 模型 (4. 1) 之 下 ,el,e,,… 独 立 同 分 布 ,其 共同 
分 布 为 ,中 位 数 为 0,F 在 w==0 有 正 的 导数 了 (0), 且 A4.5 成 立 . 
则 
2f(0)SK(B, — Bò > NOT, ,n> o, 
在 模型 有 常数 项 时 ,关于 最 小 一 乘 估计 的 渐 近 正 态 性 ,也 有 与 
定理 4. 2 类 似 的 下 述 结论 ; 
定理 4.4 设 在 模型 (4.14) 中 ,el,e;,… 独 立 同 分 布 ,其 共同 
分 布 为 ,中 位 数 为 0,F 在 零点 有 正 的 导数 1(0), 且 A4.5 成立. 
设 (w,, 六 ) 为 (wp) 的 最 小 一 乘 估计 , 则 
2f(OTE (A, 一 By) —> NOT, 


2f0) Vm + nT, Z) 44, — a)» NOD, 
H4 noolt, TH (0, — Bo) Vn [Cn =a) HE, (Ba Bo) EMR HE 
独立 的 . 

定理 4. 3 和 4.4 ERA GRR. AMR AES 1990 
年 在 文献 [4] 中 首次 严格 地 证 明了 的 . 他 们 用 的 是 另 一 种 证 明 方 
法 .后 来 ,Pollard F 1991 年 在 文献 [50] 中 也 得 到 了 相同 的 结果 . 

下 面 我 们 仔细 地 讨论 一 下 定理 4. 1 的 条 件 .正如 同 (3. 11) 式 
所 指出 的 ,du 一 0 蕴涵 了 Sr 一 0, 反 之 不 真 .因此 , 若 将 定理 4. 1 与 
定理 2.1 的 条 件 加 以 比较 ,不 难看 出 我 们 为 得 到 和 的 渐 近 正 态 性 
所 加 的 条 件 比 相合 性 的 条 件 强 一 些 ， 

另 一 方面 ,正如 Huber(1973, 文 献 [34] 中 ?所 指出 的 ,在 模型 
(4.1) 中 ,对 A 的 最 小 二 乘 估 计 (LSE) 的 浙 近 正 态 性 而 言 , 在 某 些 
附加 条 件 下 ,条 件 A 5( 即 d, 一 0) 不 仅 是 充分 的 ,而 且 也 是 必要 
的 . 换言之 ,我 们 有 如 下 定理 : 


+108 > 第 4 章 M 估 计 的 渐 近 正 态 性 


定理 4.5 ”假定 在 模型 (4. 1) 中 ,eve:,，… 独 立 同 分 布 , 其 共同 
的 分 布 为 非 正 态 的 , 旦 Le, =0,0<Ke;*=0'<oo. HY n 充分 大 时 
S.>0, 则 对 2o AY LSE 访 而 言 ,S#( 包 一 8) 汤 近 正 态 的 充 要 条 件 
ž d, —>0. 

HF LSE 有 其 简单 的 表达 式 ， 

SER, ~ Bo) = Sp “Deon = Dee f 

故 上 述 命题 的 充分 性 容易 直接 由 Lindeberg 定理 得 出 ， 或 作为 M 
估计 的 一 般 定理 的 一 个 推论 . 为 了 证 明 必要 性 ,我 们 需要 下 面 的 正 
态 分 解 定理 , 它 是 由 P. Lévy 猜测 并 由 Cramer 证 明了 的 (参看 文 
献 [45] 中 p. 283~284). 

引 理 4.3 RX, WX. 相互 独立 ,是 和 十 X 服从 正 态 分 布 ， 
WX, AX, 均 服 从 正 态 分 布 . 

我 们 需要 指出 ,在 此 引 理 中 ,退化 分 布 视 为 方差 为 0 的 正 态 分 
布 . 

下 面 证 明定 理 4. 5 的 必要 性 ， 假定 5# (如 一 所 ) 渐 近 正 态 而 
4,=max || zw :一 请 0， 则 存在 维 单位 向 量 a， Emax la’ zn | 


一 大 0. IER, a'S¥ (BL— B= el EE IE D Eh 


max |a'xw|—/* 0, py ed Xa ABB SE FS A SDE IR RSP 


和 ， 其 中 一 个 是 非 正 态 的 ， 但 由 引 理 4. 3, 这 是 不 可 能 的 , 这 个 矛盾 
就 证 明了 d. 一 0. 1 

根据 这 个 定理 ,我 们 有 理由 狂 测 ,对 一 般 的 M 估计 的 渐 近 正 
态 性 ,在 一 定 的 附加 条 件 下 ,条 件 A4. 5( 即 4 一 0) 也 是 必要 的 .这 
一 猜测 还 有 待 于 证 明 . 

TARNA DORR Y 所 有 不 连续 点 组 成 的 集合 . 一 个 重 
要 的 事实 是 : 

命题 4.1 BGW=EV(e,+u) € u=0 E,W DY) AHF 
测度 为 0. 
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证 4u>ont. h Y SGA. 
We, Hu) — le, — u) So. 
故 出 Fatou 引 理 ,得 
o= lim (Glu) — G(— u)) = lim E[ We, +u) — Fte, — u)] 
aga] 


uwo 
1 


> E{lim inf (We, +u) — Y (e, — u)]} 


= EW (e) Y. (e)l. 

hY. e 20,848 F{DCH)}=0. 1 

由 此 命题 可 知 , 若 对 时 的 一 种 选取 ,A4. 3 成 立 , 则 对 此 更 的 
HERR, FIDO) — 0. (AXA ERS WTA DOP) BE 
个 集合 ,其 下 测度 为 0. UPAR A YEE DE 
取 不 同 的 值 ,因而 不 会 影响 LV Ce tu) 、EYW*(e1 十 x) 等 函数 的 值 . 

最 后 我 们 指出 ,A4. 4 中 的 条 件 

lmEL¥e, +u)— Ve) =0 


可 用 较 弱 的 条 件 


limEW* (e, +u) = EW (e,) 
“0 
来 代替 , 确切 地 说 ,我 们 有 以 下 命题 : 
命题 4.2 设 F(D(Y)}=0, 且 EV’(e)=0<o0, 则 
limE[¥le tw Ve)] =0 SlimEy’ Ce, tu) = Ee), 
证 只 需 证 明 “<=” 部 分 :由 (DC)1 一 0 知 
lim P(e 十 — Ye) =0, ars. 
A Hle w=2( "Ce tw +H Ce) ]—[We, tu — Ver) P20, 
x 
limH (e,,u) = 4¥° (e1), as. 
故 让 Fatou 引 理 及 limEY¥ (e, +u) = E¥*e,) A 
AEF’ (e,)= Elim inf H(e ,2) ]< lim inf EH Ce, ,2) 
oo 0 
= 2 lim[ EY te, + u) + EW (e,)] 


一 lim supk[W(e, + u) 一 Wee? 
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= 4EW*(e,) — lim supE[ Pte, +u) — Fle), 
lim sup E[¥(e +u) — Ple) F = 0. I 


$4.2 Bite M 估计 的 情形 


在 本 节 , 我 们 只 假定 所 满足 (4.4) 式 ,不 必要 求 它 满足 估计 方 
程 (4. 3). 为 了 建立 及 的 渐 近 正 态 性 ,除了 A4.1 R A4. 3~A4. 5 
之 外 ,我 们 引进 下 述 假定 以 代替 A4. 2: 

A4.2” VHRR EAR RK. 

我 们 有 下 面 的 定理 : 

定理 4.6 设 在 模型 (4. 1) 之 下 ,A4.1、A4.2'、A4,3~A4.5 
均 成 立 , BB MEG DOR. 则 当 nooit, 

SAB, — By) > N(O,A*"T,). 

为 了 证 明 这 个 定理 ,我 们 可 以 直接 利用 引 理 4. 2 中 的 第 二 个 
结论 . 但 这 个 结论 的 证 明 用 到 了 附录 中 所 述 的 凸 函数 深入 的 分 析 
性 质 ,它们 的 证 明 昌 然 是 现成 的 ,但 并 不 容易 . 为 此 ,我 们 宁愿 用 初 
等 方法 证 明 下 面 的 引 理 : 

引 理 4.4 设 {faoi 一 1 nin 二 1,2,…} 为 一 实数 阵列 , 满 


足 条 件 > 友和 1 (n=1,2,…), 设 A4.1.A4.2' „A4. 3~A4. 5 
成 立 , 则 对 任意 的 常数 C>>0, 有 
sup, Sat¥le — 247) — Wee) + acu} | So, 
证 不 失 一 般 性 ,可 设 所 有 的 as 之 0. 记 
WY) = We 一 eu) — Ple) + aX, 
更 1 (7) = Vee, 一 uN) — Ve) — G(— Lail) 
HWY 7 Ke G=1 n) MH Schwarz 不 等 式 ， 
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Dawe. V, = 
E 


SaDa henl © 1%, —% I 


(es DHEN | "als. (4.19) 


对 于 任 给 的 e>0, 我 们 可 以 把 8= {17 |< CARMATE FRB, 
oy By ET Be 的 直径 <<e/(3X Wp). ET k HE B 
Be PFE NORM aO ENTES n 有 关 , 使 得 

= Bat KL Lal K nT D ARH Y E Ba 
由 时 的 单调 性 和 (4, 19), RNA 
sup| Faro j< max| Sahar) | + /3. 4, 20) 


res, 
H da0, sup [zr [+0 (j=1,2;k=1,, N). 由 此 ,A4.3 


BX l n | =p FERE e0 <e 0, ERN a EAIA j= 
2 二 ],…,N, 有 


(Earr 一时 09)| 


Das (GC xP) ae 


LE Dyan EVP Se jae te ll + HP I 


a1 7 


<e Fe DEE bee) Kepe 4.20) 
故 由 (4. 20) 及 (4. 21) ,当世 充分 大 时 ， 


P{ sup Zawa] > e] 
f 


Wriee| 4 


<P > 2} 


ges 
pss | De OP 


< Srl [Soy: omy 
=r 


im 


Sea}. aw 
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另 一 方面 ,对 所 有 的 j,k, 由 A4.4 B sup an7a | 一 0， 
var( Dav: op) = Stele ey J 
or Tn 
< DREE Ce, — 2.7%) — Fle) F 0, % n — oo 时. 


由 此 式 及 (4. 22) 式 即 证 明了 引 理 、 1 
现在 我 们 来 证 明定 理 4. 6: 
证 不 失 一 般 性 ,可 设 B= 二 0, 令 Bn) 二 SB, 则 由 (4.4), 有 


| Bre -st 


=0,(1). (4, 23) 
往 下 证 

lÊ) | = 0,0). (4. 24) 
我 们 指出 ,Rao 和 Zhao! MEARE 2. 1 的 过 程 中 证 得 : 若 
Ad. 1,A42", (2.1) 一 (2.3) 成 立 , 且 EV (Ce) = 0,0) 4. 23) 式 草 
涵 了 (4. 24) 式 ,但 在 定理 4. 6 的 较 强 的 条 件 下 ,我 们 可 以 给 出 一 个 
简单 得 多 的 证 明 . 为 此 , 设 U 是 R 中 的 单位 球面 , 即 

U = {£ € R’, |B| =1}. 
定义 
DY,L) = Ère- Lay reY, L0, YER. 
由 A 4. 2° XEN DODA LHN. 
任 给 > 0, AGE 

Loz 8p%o/(e*), 

由 (4. 23) 式 ,存在 1 之 no, 使 


(n) 1 " 
P| erica 12d Il |> #54)< /2) 当 nn 之. 
EDO, + ) 的 单调 性 ,此 式 葡 涵 了 
PIIRE || Sb) < P(supD07 La) = dza) + ef2. 


(4, 25) 
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由 引 理 4.4 BQ aniu Hi 


sup 
vet 


DiRe, — Ler”) 一 更 (c)]rsy + Lod] - 
= 


(4. 26) 
由 Schwarz 不 等 式 ， 


Sve. 和 | < Sete 
a 各 


由 (4. 26) 及 (4. 27) ARTE neem 4 n>n A 


(4, 27) 


sup 
ret 


P{supDO,L. <- lat 
sup z! 


| Sve) | \> 1 6/4. 


m 


(4. 28) 
又 由 Ad.4， = | eu ll =p Be Ly BORE AF 


sjel Eo 
P tn TAE wP (e, 
2 人 > {| Sos ool 7 中 < (去) Dz Ce.) 
一 (起 TS JE Il Za lë = 16p0°/ (Lod)? K E/4. (4. 29) 


由 (4. 28) 及 (4. 29) 当 n>n 上 时， 
P {supDO.J) <- 于 > 1 一 e/2， 
ree 4 


PH. 25958, 4 n>n: Bt A 
P| BQ) | Slo < €/2 + 8/2 = €. (4, 30) 


至 此 (4. DREE MIIMA 4 及 Sete <1, 


IUD Lo) [e{e~2.8e)~ W069 owt ion +o. 
气 
ERS. 30) 及 (4, 23) 式 相 结 合 , 即 得 
oo =A Sed + 0,0. (4.31) 


H A4 1,A4. 5 R EW Ce) =0,0< EV" (e,) =0'<00, Lindeberg = 
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理 适用 于 D x。(e,), 即 得 定理 4.6. 证 毕 ， 1 


以 上 的 证 明 方法 是 综合 了 Zhao 和 Chen“ 以 及 Rao 和 
Zhao 两 入 文献 中 所 用 的 方法 得 到 的 . 
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关于 回归 系数 M 估计 的 渐 近 正 态 性 的 研究 , 较 早 的 工作 可 以 
举 Relles ( 见 文献 [58])、Huber( 见 文献 [34]) 和 Yohai( 见 文献 
[66]) 的 工作 为 代表 . 他 们 分 别 研究 了 p EEA p iin Took 
形 .在 Huber 的 文章 中 ,假定 了 以 下 三 个 条 件 : 

1° 设计 点 列 满足 Lindeberg 型 的 条 件 A4, 5; 

2 p 是 凸 的, 非 单 亩 的 , 且 有 充分 高 阶 的 有 界 导 数 ,特别 是 
Hw 二 是 p(w) 假 定 是 连续 有 界 的 ， 

3° 误差 序列 {e,} 是 iid. FEA), H EY (e,)=0. 

Huber d.p’ 0GA p/n-*0) 的 条 件 下 建立 了 回归 系数 M 
估计 的 渐 近 正 态 性 . 

1975 年 ,Bicketlo9 研 究 了 回归 系数 B 的 一 步 M 估计 的 渐 近 
正 态 性 , 简 言 之 ,这 种 一 步 W 估计 是 先 从 一 个 有 理由 认为 较 好 的 
估计 8" 出 发 ,然后 对 估计 方程 (4. 3) 应 用 一 步 Newton 方法 以 得 
Hh Bo AGREE BY. 在 某 些 条 件 下 ,人 与 甸 的 M 估计 及 有 相同 的 渐 
HESH. 

1979 年 ,Yohai 和 Maronna "RRR T hht A EG. 3) 
定义 的 回归 系数 的 M 估计 ,分 别 在 p EA p Bi n AT oR 
情形 ,在 一 系列 条 件 之 下 建立 了 估计 的 相合 性 和 渐 近 正 态 性 . 他 们 
不 需要 多 是 连续 的 ,同时 在 户 随 ， 趋 于 co 的 情形 ,也 不 需要 dp? 
0, RER d, p* 0 GX A p™/n> 0) ,这些 条 件 都 比 Huber 的 
有 关 条 件 要 弱 . 但 他 们 的 条 件 (A2) 看 来 不 大 自然. 

在 p 随 n 趋 于 2 的 场合 ,关于 由 估计 方程 定义 的 回归 系数 的 
M 估计 的 进一步 研究 ,可 以 参看 Portnoy 的 文献 [51] 和 [52] 以 及 


P 


CE | S 


ven 
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Welsh 的 文献 [64]， 
以 下 我 们 重点 讨论 p 固定 的 场合 . 
在 模型 (4. 14) 中 , 设 Be 是 极 值 问题 


Sa (RM, — z;' P) = min (4, 32) 
的 解 ,此 处 R 是 APY A HE Oo 中 的 秩 ,a.(，) 是 某 个 
非 减 的 得 分 函数 , 且 > 0.0) 二 0, 则 称 记 为 模型 (4. 14) 中 回归 


条 数 的 尺 估计 ( 见 文献 [37]). 但 用 这 种 方法 不 能 估计 模型 (4. 14) 
中 的 常数 项 ao. 1971 4 Jurečková MY Lh — AA RE MAL Bo HY 
R 估计 ,并 在 较 强 的 一 组 条 件 之 下 得 到 了 fr 的 渐 近 正 态 性 . 
Jaeckel57 在 同样 的 条 件 下 证 明了 这 两 种 不 同方 式 定义 的 丸 估计 
是 渐 近 等 价 的 , 他 还 证 明了 (4. 32) 式 左 端 是 8 的 非 负 的 ( 逐 片 线 
性 的 ) 凸 函数 .关于 加 估计 和 RR 估计 之 局 的 渐 近 关系 ,读者 可 参看 
文献 [39] 或 文献 [36]. 

1988 年 ,Heiler 和 Willersr" 利 用 凸 函 数 和 的 有 关 性 质 ,建立 了 
由 (4. 32) 式 定义 的 Bo WY R 估计 Be 的 渐 近 正 态 性 . 这 种 方法 上 的 
改进 ,不 仅 大 大 减弱 了 所 加 的 条 件 ,而 且 简 化 了 证 明 . 

1990 年 ,Chen、 Bai, Zhao 种 Wu 首次 严格 地 建立 了 模型 
(4.1) 之 下 Ao 的 最 小 一 箭 估 计 (LADE)7 和 模型 (4. 14) 中 (eo, Bo!) 
的 最 小 一 乘 估计 的 渐 近 正 态 性 , 即 定理 4 3 和 4.4, 所 加 条 件 也 与 
这 两 个 定理 基本 相同 . 同样 的 结果 后 来 也 为 Pollardc" 于 1991 年 
得 到 . 

1990 年 ,Bai、Chen、Miao 和 Raot0 建 立 了 多 元 线性 模型 中 最 
小 距离 佑 计 的 渐 近 性 质 . 

1992 年 ,Bai,Rao 和 Wu? 研究 了 下 面 很 一 般 的 多 重 线性 回 
归 模 型 : 


Y= XB He G= len) (4. 33) 
此 处 ,Y; 为 第 i 次 p 维 观测 向 量 ,X; 为 给 定 的 mx p EE, Bo 为 未 
知 的 m 维 回归 系数 向 量 ,{,} 为 一 列 iid.p 维 随机 误差 向 基 . 他 们 
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RE op 个 变量 的 给 定 的 凸 函数 ,并 定义 A WM iiit A 为 使 


S p01, 一 Xi8) 取 得 最 小 值 的 任何 8 值 . 他 们 利用 凸 函 数 的 有 关 


性 质 ,在 对 p、{X} 和 随机 误差 所 加 的 尽 可 能 弱 的 条 件 下 ,建立 了 
的 渐 近 正 态 性 ,得 出 了 有 关 线 性 假设 的 检验 统计 最 的 极限 分 
布 .顺带 着 ,他 们 也 在 关于 {X,}) 的 Lindeberg 型 的 条 件 下 建立 了 Á, 
的 弱 相 合 性 (这 个 条 件 当然 不 是 最 弱 的 ). 他 们 的 渐 近 正 态 性 的 结 
RX p= 时 与 定理 4.1 一 致 ,并 把 文献 [11] 中 研究 的 最 小 距离 估 
计 作 为 它 的 一 个 特例 . 正如 文献 [12] 中 指出 的 ,模型 (4. 33) 比 标准 
的 多 元 线性 回归 模型 

Y, = Bix, te C=1,,n) (4. 34) 
更 一 般 , 此 处 Bo H mX p BRK (ci H m 维 向 量 的 一 个 设计 
AR Yane 与 (4. 33) 中 的 一 样 . 

1990 年 ,Koenker 和 Pontnoy55 研 究 了 重 元 回归 的 另 一 种 意 
义 下 的 M 估计 , 它 使 得 逐个 坐标 的 残 差 的 凸 函数 损失 之 和 达到 最 
小 . 为 求 得 渐 近 分 布 ,他 们 也 需要 较 强 的 条 件 . 

关于 由 估计 方程 定义 的 M 估计 的 渐 近 正 态 性 的 证 明 方法 ,是 
综合 了 Zhao 和 Chen") % Rao 和 Zhaoc5] 的 两 篇 文章 得 到 的 . 后 
一 篇 文章 证 明了 , 若 A4. 1, A4. 2 (2. D~ (2. MY EWC) = 
OBB RE. ORI A, 为 模型 (4. DE L 的 一 个 弱 相 合 估计 
这 是 与 定理 2. 1 平行 的 一 个 定理 . 

关于 线性 模型 (4. 1) 中 最 小 一 乘 估计 的 渐 近 正 态 性 的 研究 ,我 
TERES HE MOR AHR. 证 明 B 的 最 小 一 乘 估计 渐 近 正 态 
性 的 首次 努力 是 由 Bassett 和 Koenker 于 1978 年 在 文献 [17] 中 
作出 的 , 他 们 假定 {ei} 满 足 定理 4. 3 中 的 条 件 及 蝎 强 的 条 件 , 又 侵 
定 极 值 问题 (4. 18) 中 的 解 唯一 (这 不 是 总 能 成 立 的 , 且 难 于 验证 )， 
以 及 


nS, -+ Q,Q>0. 
不 幸 的 是 ,他 们 的 论证 包含 了 不 易 解 决 的 严重 错误 (参看 文献 
fa). 
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Bloomfield 和 Steiger!) & AmemiyacJ 也 试图 在 他 们 各 自 的 
条 件 下 建立 的 最 小 一 乘 估计 的 渐 近 正 态 性 ,但 正如 文献 [4] 中 
指出 的 ,他 们 的 证 明 也 存在 着 致命 的 错误 . 

当 回归 模型 包含 一 常数 项 , 即 形 如 

Y, = a + x' Byte (=1,.,n) 
HD G4, 14) 式 ) 时 ,我 们 注意 到 B AY LADE 8, 是 上 文 提 到 的 由 
《4. 32) 式 定义 的 Ar 的 一 个 特例 (参看 文献 [20] 中 p. 62, 引 理 1). 
由 此 出 发 ,可 利用 文献 [38]、[37] 及 [30] 中 改进 了 的 结果 去 证 明 
B 的 LADE Â, 的 渐 近 正 态 性 . 但 在 文献 [30] 中 ,也 假定 了 下 有 一 
个 可 微 的 密度 f ARO GRAY Fisher 信息 量 , 故 f 必须 处 处 为 
正 , 其 至 最 简单 的 均匀 分 布 也 不 满足 这 个 条 件 . 还 有 ,正如 前 面 指 
出 的 , 它 不 能 处 理 无 常数 项 wm 的 模型 , 币 在 带 常数 项 的 模型 中 , 它 
也 只 能 处 理 Bo 的 问题 ,而 无 法 处 理 ao 的 问题 . 

1987 年 ,Dupacova!” 证 明了 一 个 关于 2 的 LADE 把 的 渐 近 
正 态 性 的 定理 ,其 中 假定 {zx,} 为 随机 观测 值 ,她 的 结果 用 于 参数 无 
约束 的 情形 时 ,大 致 与 文献 [20] 中 的 相当 ,但 包含 了 一 个 在 数学 上 
不 理想 的 假定 , 即 要 求 || x, | 具有 有 限 的 三 阶 矩 , 且 其 方法 不 能 处 
理 x, 非 随机 这 个 更 重要 的 情况 . 


附录 ” 凸 函 数 的 有 关 性 质 


为 便于 读者 参考 ,我 们 在 这 个 附录 中 不 加 证 明 地 罗列 出 关于 
凸 分 析 的 若干 知识 ,在 第 4、5 章 中 要 用 到 . 对 这 些 性 质 的 证 明 以 及 
关于 凸 分 析 的 比较 系统 的 论述 ,读者 可 参看 Rockafellar 的 专 
¥°" & Heiler 和 Willers KRX. 

首先 从 介绍 凸 集 的 定义 开始 . 称 ACR? A-T OR BME 
lu vE ABET AE (0,1), 总 有 

因 十 (1 一 DuE4. 

El -个 凸 集 若 包含 某 两 点 上 和 wv, 则 必 和 包含 连接 w 和 ww 的 整个 线 
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段 由 此 易 见 , 若 A DAR EA ASO GL DUAL, 
则 Da EA, 


其 中 n22 为 任意 整数 . 称 D Au W ueu 的 一 个 本 组 会- 


DR? 中 的 一 个 非 空 串 子 集 , 称 函 数 p:D 一 R! 为 D 上 定 

义 的 一 个 丁 函 数 , 若 对 任何 wvED 及 任何 XE (0,1), 总 有 

pu + (1 — Adv) <Ap(u) + O — Ade). 
称 o 为 严格 西 的 ， 若 对 上 述 的 任何 x\o 及 4， 总 有 严格 的 不 等 式 
成 立 ; 

plu + (1 — Adv) < Mp + G — Vow). 
HSL oD EADAR WED ASO (i==1,…sn), 且 
z 4=1,8 

o>") < Zea). 

这 就 是 熟知 的 Jensen 不 等 式 . 

以 下 我 们 总 假定 D HR 中 的 非 空 开山 集 , 且 定义 于 DD 上 的 
CAR p 总 是 取 有 限 值 . 在 下 面 ,(*，，。 ;总 表示 R 中 通常 的 内 
积 , | ， 站 表示 欧 氏 模 . 我 们 将 不 加 证 明 地 引述 凸 函 数 的 一 些 重要 
性 质 如 下 : 

D FAR D EB RR p 必 为 上 的 连续 函数 . AT D HY 
任 一 紧 予 集 S,p ES EWE Lipschitz 条 件 , 即 存在 常数 天 0, 使 
得 对 任何 xz\oES, 有 

leu) 一 po) SK iluh. 

2) 设 ip,,iET1 为 在 开山 集 DD 上 定义 的 一 族 凸 函数 ,1 为 任意 
的 指标 集 , 假定 

a) 存在 万 的 一 稠密 子 集 DM supa. a) FEL) MET 
uED' 为 有 限 的 ; 

b)》 至 少 存在 一 个 xED, 使 inf{p,(w) i ENER RA. 
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则 对 D HRTRER S, (0.81) TES 上 满足 等 度 Lipschitz 

ANE BPFE EBRR K ATES uo eS ERKELA 
\a@)—p@){<Kilu—v]. 

DE DA—TIF GR pistes D EMF OBR. 假定 
存在 忆 的 一 个 稠密 子 集 D ,使 得 对 每 个 zxE D 0, u), plu), 
都 有 有 限 的 极限 , 则 对 每 个 wE D, 极 限 

PUO = lime, (a> 
存在 有 限 , 且 函数 pC OE DEBRA. 进一步 ,上 式 中 的 收敛 在 
DHBTRFRS 上 都 是 一 致 的 . 
RAR EMSAM uR, v 为 一 个 给 定 的 p 维 向 量 . 
若 极限 
Fuso) = lim fut w) — f@ 
存在 (可 以 为 十 %o 或 一 吕 ), 则 称 此 极限 为 在 w 关 于 向 量 v 的 单 
边 方 向 导数 , 注意 到 
= fl(u;—v)= lim 
故 单 边 方向 导数 有 (wu;v) 是 双边 的 , 当 且 仅 当 Pes oF, H. 
fl — v) =— (uw). 
称 f 在 u 是 可 微 的 , 若 存 在 一 个 p 维 向 量 w", 使 
lim{ fz) — fa) — Gury z =u) lz ul = 0 
这 样 的 co MRE. UE S E u HR (gradient), it% 
US (a). 显然 , 若 了 在 zx 可 微 , 则 了 在 zx 的 所 有 方向 导数 都 是 有 限 
且 双 边 的 , 且 
F (aww) = ( VF (a) w) SER v © R°. 
设 2 AER 刀 上 定义 的 一 个 西 函数 ,向 量 “" 称 为 p 在 点 x 
处 的 一 个 次 梯度 (subgradient). 如 果 
Plz) > plu) + (u* ,z — u) ,对 任意 的 z © R. 
此 时 由 方程 
S) 一 pe 十 人 zz 一 2 (z ER) 


fu + dv) — flu) 
7 ， 
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定义 的 ROB RE Gf (2) ER PRR o FE u 的 
一 个 支撑 平面 , 它 通过 点 Cu,p(w)) 且 位 于 p 的 图 象 的 下 方 . 

P 在 wu 的 所 有 次 梯度 所 成 的 集合 称 为 p 在 wu BK 
(subdifferential), 记 为 dou). 多 值 映照 如 :wa3p(z) 称 为 函数 p 
的 次 微分 . 很 明显 ,ao(x) 是 一 个 闭 凸 集 . 一 般 地 说 ,3o(z) 可 能 是 空 
集 , 也 可 能 由 唯一 的 一 个 向 量 组 成 . 如 果 op Ce) ELE SH UB p 
在 点 zx MEER RAY. 

ROH ORD EM ABR ED. 对 每 个 v, 在 定义 
p'《usv) 时 的 差 商 [plu 十 入 ) 一 p(w)]/X 是 4>0 的 非 碱 函数 ,因而 
P un AIHE: 

Ø uv) = ing Ct eW, 


E — p (u; — v) S p luv) HERA v E R. 

对 每 个 ED,3p(w) 为 一 非 空 有 界 ( 闭 凸 ) 集 , 且 w* € apa) 4 
BILH p'ulu ,wv), 对 任意 的 vE R. 

D 设 pypz,… 为 开 凸 集 刀 上 的 一 列 凸 函数 , 且 在 DD 上 点 点 
KAA PP 上 的 一 个 向 函数 p. 设 wED,zu,u,… 为 也 中 的 一 个 点 
Fl) CRB u. 则 对 任 给 的 >0, 存 在 nos H 之 mo 时 ， 

pil1) C Ipu) + EB, 
其 中 B 为 R* 中 的 Euclidean MLR, eB= {euu € B}. 

特别 是 ,对 任何 ED 及 任 给 的 e>0, 存 在 6>0, 使 

Bolz) C ape) + eB, 对 任意 的 x € u + OB. 

6) 凸 函数 o 的 次 微分 ap 具有 以 下 的 循环 单调 性 (ecyclical 
monotonity), 即 对 任 给 的 n, (EE H Curu ), 其 中 心 Eap(Cu)》 
G=lLe ns 有 

(u, — wo pte ) + (ur 一 My)》 Hee + lun — Uni stni) 

+ (wo — uu > KO 
这 是 因为 ,由 次 梯度 的 定义 ， 
上 式 左 方才 [pw) 一 p(wo)] 十 [pus) 一 plu1)] 一 … 
Lp Cue, —pl 1) 1+ [ue — pte 1 =0. 
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D 设 p BAOGRD LOAM. 若 0 Hue D 是 可 微 的 , 则 
Vp(z) 是 0 在 zx 点 唯一 的 次 梯度 , 故 
Plz) Sou) +6 Volu) z—u) ,对 任意 的 2 ED. 
反之 ,车 Pp 在 uwE€D 有 唯一 的 次 梯度 , 则 p 在 x 点 是 可 微 的 
8) 设 p REA RD be CAM. DERK o HH A 
所 成 的 集合 , 则 DED PHE BAH D\D E— A Lebesgue $ 
测 集 , 进一步 ,梯度 映照 Vou Ve) RF Di 上 是 连续 的 . 
特别 是 , 若 p 在 D 上 可 微 ( 即 在 D 上 点 点 可 微 ), 则 p 必 为 连 
续 可 微 的 . 
可 以 证 明 , 也 是 一 个 Gs 型 的 集合 , 即 刀 , 是 至 多 可 列 个 开 集 的 
ZR. 
D 设 e 为 开 凸 集 九 上 可 微 止 函数 ,cp 为 万 上 一 列 止 函 
数 ,limp.(x) 一 PC 对 任意 的 xE D. WAHE RI W, a) E dow) » 
有 
lim, (u) = Vou) ,对 任意 的 xE D, 
MEE DHE- RTRS 上 ,上 述 收 倒是 一 致 的 . 
10) 010: yw，…- 都 是 开 集 刀 上 的 凸 函数 ,o 在 万 上 可 微 , 六 
H D 的 一 个 筒 密 子 集 , 委 ,Cx) E 3p,(w), 且 
Tim, (a) = yeu) EBH u € D', 
limp, (uo) = pluo) ,对 至 少 一 个 wo。€ D', 
则 
limp, (u) = pa) HERA uE D, 
且 上 述 收敛 在 刀 的 任 一 紧 子 集 S 上 是 一 致 的 . 
对 于 一 元 凸 函数 ,有 
11) 设 p 为 开 区 间 (a,6) 上 的 是 函数 ,于 - ,+ 分 别 为 p 的 左 、 
HFR UY ,于 + 在 (a,6) 上 都 是 非 减 的 ,有 限 的 , 且 
LEMES EY EY C22) ae ua, 
进一步 ,对 每 个 zxE ad), 
limY,@)=¥,@)s limY (z)=Y- u), 


122+ 第 4 章 对 估计 的 渐 近 正 态 性 


Ti 到- (2) = (u), limY: (2) =W- (u). 
Hic D= {u€ (a,b) p E u Wi), 
D = {u€ (a,b), V H u EE), 
D.=(u€ (a,b), VE u 连续}. 
WW D, =D, =D- ,上 且 (4a,6)\D, 至 多 为 一 可 列 集 . 
HEH IR VA (Cab) EMER E 
更 - WKY, u) EEH uE lab), 
则 对 任 给 的 xeE Cad) ,有 


ou) = plu) 十 f 更 (z)du。 


在 结束 本 附录 之 前 ,我 们 指出 ,上 面 的 性 质 9) 源 于 文献 [59] 中 
的 定理 25. 7. Rockafellar 要 求 所 有 的 p. 在 D 上 都 是 可 微 的 . 但 正 
如 Heiler 和 Willers 在 文献 [30] 中 所 指出 的 ,在 Rockafellar 的 证 
明 中 ,并 没有 用 到 p, 在 DD 上 的 可 微 性 ,只 用 到 了 极限 函数 p 在 DD 
上 的 连续 可 微 性 质 ,因此 性 质 9) 可 以 在 上 面 所 说 的 较 弱 的 条 件 下 
成 立 .上面 这 些 性 质 的 证 明 , 除 性 质 10) 之 外 ,可 和 参看 文献 [59] 中 的 
第 10 节 及 第 23 一 25 节 :性 质 10) 的 证 明 可 参看 文献 [30]. 


第 5 章 


M 检验 统计 量 的 渐 近 理论 


考虑 通常 的 线性 回归 模型 
Y, = aß te G= lon), 《5. 1) 
此 处 Y; 为 第 i 次 观测 值 , {zi} 为 已 知 的 p 维 试验 点 列 ,8 为 未 知 约 
思维 回归 参数 向 量 , {e }) 为 试验 误差 序列 , 在 本 章 中 我 们 假定 $4.1 
中 的 条 件 A4. 1 一 A4.5 成 立 . 
在 模型 (5. 1) 之 下 ,我 们 常常 要 考虑 以 下 的 假设 检验 问题 : 
Ay: A'(B — b) = 01H, H' Q — b) Æ 0, (5. 2) 
Sikh H HEARR qh) pXq Bb HBA p EEO 
<p) A 


ri 2e; — 2:8) = DY, — 2:8) = M, (5.3) 
inf DPO,- #8) = DPO, 218) = My, 65.4) 
BER? iml i=l 
为 了 检验 线性 假设 (5. 2) ,我 们 可 以 使 用 及 ,一 性, 作为 衡量 数据 与 
原 假设 偏离 程度 的 一 个 准则 . 我 们 不 妨 将 此 准则 称 为 M 准则 . 如 
果 能 够 求 出 它 在 H 之 下 的 极限 分 布 , 并 找 出 多 余 参 数 的 相合 估 
计 , 即 可 构造 出 需要 的 检验 统计 最 和 有 关 的 检验 ， 

为 了 检验 假设 (5. 2) ,我 们 也 可 以 使 用 其 他 的 检验 准则 , 比较 
常用 的 有 Wald 检验 准则 W, Rao 的 计 分 型 准则 (Score type cri- 
terion, 参看 文献 [53])R, 以 及 它 的 一 种 变化 形式 R; (参看 文献 
561]): 
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W,= (8, — 6) HASH) HB, — b) 


= Rn) HBO), (5.5) 
R= BY, B), (5. 6) 
= YB) H, H YB)» (5.7) 
以 上 诸 式 中 
Bln)= S28, — b), (5.8) 
H.= S*H(H' S ' HY *:p X q, (5.9) 
PBD = SD E Y, — 2B), (5.10) 
其 中 H. 满足 
HLH, = l, 6.11) 


在 下 面 8 5. 1 中 我 们 将 求 出 上 面 这 些 检验 准则 在 一 列 局 部 对 
立 假设 


Han + H' (R — b) = Ha, (5.12) 
之 下 的 极限 分 布 ,其 中 p 维 向 量 w 满足 
|| S¥a, || = O00), 当 neo. , (5.13) 


特别 是 , 当 o. = 0 时 即 得 到 它们 在 原 假 设 H 之 下 的 极限 分 布 . 在 
$ 5. 1 中 我 们 还 将 构造 出 多 余 参 数 及 o 的 相合 估计 ,从 而 得 出 


有 关 的 检验 统计 量 及 其 极限 分 布 . 
在 85.2 中 我 们 将 考虑 通常 的 多 重 线性 模型 
Y= Bate 一 6.14) 


HP Y: 为 p 维 观测 值 ,s; 为 p 维 随 机 误差 向 量 , (co) ARM m 
EEA, B 为 未 知 的 mX p 回归 参数 矩阵 . 在 该 节 中 我 们 将 研 
究 在 模型 (5.14) 之 下 有 关 的 线性 假设 的 各 种 检验 准则 的 极限 分 
布 ,并 研究 多 余 参数 的 估计 问题 . 在 $5. 3 中 我 们 将 简略 地 介绍 一 
些 有 关 的 文献 ， 


$ 5.1 简单 模型 中 的 渐 近 理论 


在 线性 回归 模型 (5. 1) 之 下 ,为 了 检验 线性 假设 (5.2) ,我 们 提 
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出 了 若干 检验 准则 . 本 节 将 在 A4. I~ ALS 的 条 件 之 下 , 求 出 它们 
在 局 部 对 立 假设 (5. 12) 之 下 的 极限 分 布 ,并 构造 出 多 余 参 数 和 
oF AYE HET A, 和 oi, 
首先 ,我 们 将 模型 (5. 1) 写成 规范 形式 , 为 此 , 令 S. 
= Dyan! h Ad 5 及 wm 的 约定 ,5. D p BERR A 
tm=S5%x,5 Bn) =S% Bb), 


Y„=Y,— ab. (5.15) 
则 模型 (5. 1) 可 以 写成 以 下 规范 形式 ， 
= A) 十 a G= latins (5. 16) 
其 中 
Saye =l, 6.10 
d, = max | 2a |? -= 0,34 n — o. (5.18) 
我 们 有 以 下 的 定理 ， 


定理 5.1 设 在 模型 (5.1) 之 下 ,A4.1 一 A4,5 成 立 , 且 真 参数 
A WEG. IDEG. 13). 则 当 nok}, 
2a? M, ~ M,) = RoW, + 0,(1) 
= oR, + 0,(1) = ot RS + ol1) 


f 2 
= || Swe) + a Mn oD, 
a 

《5. 19) 

其 中 Hr SSB CS. DMG. 15》, 而 
O(n) = H,Sw, q X 1. (5. 20) 

在 定理 5.1 的 条 件 下 ,由 Lindeberg 定理 ,有 

o DH. tu le) NO, h), 6.2) 


因而 当 参 数 与 诛 假设 H 偏离 不 大 时 (在 (5. 12) A165, 13) 式 的 意 
义 之 下 ) 207M, —M,) Po Wo FR, 及 oR 都 渐 近 等 价 于 
自由 度 为 9, 非 中 心 参数 为 的 非 中 心 闪 分 布 闪 .其 中 
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b= No 8 (n)d(n) = Row SHH So, 
= Xow, H (H'Ss'H)"'H'a,. (5. 22) 
HEIL A nook, || Sw, {| 0, iil 
2do*(M, — M,)= No W, + 0,11) = o*R, + 0,(1) 
= oR +01) t, (5. 23) 
即 极限 分 布 为 自由 度 为 的 中 心 2? SPA 
为 了 估计 oi, 我 们 建议 使 用 估计 量 
=n WY, ~ 2B) =a WY, — cba). 
a 气 


(5, 24) 


mative tw| 一 下 是 we 十 由 | 成立 ,也 就 是 说 ,车 


aE Sed ,我 们 也 可 用 


FESI dy, — za Ê (n)) 
作为 4 的 一 个 估计 ,然后 青 去 建立 它 的 相合 性 .但 是 ,即使 在 p(x) 
= |uj 这 种 最 简单 的 情形 ,上 述 条 件 也 不 成 立 . 因此 ,我们 必须 寻求 
4 的 更 一 般 的 估计 .为 此 ,可 取 h 二 有， 之 0, 使 
h,/dý — œo, h, 0, Him inf nht > 0, (5. 25) 
然后 我 们 可 用 


A= (ah) D (EO; — zh + bd 
a 


a=0 a: 


— PY, — zp — Ad} (5. 26) 
作为 4 的 一 个 估计 . 我们 有 下 述 定理 : 
定理 5.2 设 在 模型 (5.1) 之 下 ,A4.1~A4.5 及 (5. 25) 均 满 
E W 
lima; = ð, in pry (5, 27) 
limA, = A, in pr. (5. 28) 


因此 , 当 我 们 用 元 代 痊 4, 用 of RE o BY BAR 
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WS Aor MM), RW, oR, 及 07 ?Ri ,它们 也 有 
类 似 于 (5. 19) 的 渐 近 等 价 表达 式 . 当 || Seo, |] +0 时 ,它们 也 有 类 
似 于 (5.23) 式 的 自由 度 为 4 的 中 心 2? 极限 分 布 . 
为 了 证 明定 理 5.1, 设 是 一 个 秩 为 p 一 g 的 pX(lp 一 g) 甜 
阵 , 使 得 
HS (5, 29) 
不 失 一 般 性 ,可 设 K'w, 一 0. NH, 和 五 .可 重 写 为 ， 
Hy:8B — b = KY, 对 某 个 7Y€ R, 
Hanh — b = KY + o, ED E R, 
我 们 已 在 (5. )DPENXH.=S*H(H'S H) *, SBM K, = 
SEK(KS,K) *. W 


HAH, = 1,, KK, = 1, H,K, = 0. (5. 30) 
E Yon = (K'S, K*7 W H, 成 立时 ,模型 (5. 16) 可 写 为 
Yn = LuK V te G= lon). (5.31) 
S Òn) = H Sho, MG. 20), AS 
Yn) = (K'S,K)*Y + 天 .Sa (5. 32) 
由 《5. 30), KK. +H,H.=1,. 由 此 式 及 (5. 2D RE HZ Pe 
Bln) = K.Y (n) + Hô). (5. 33) 


在 (5. 8) 中 我 们 已 经 定义 Cn) 二 S54( 记 一 5b), 易 知 它 即 为 模型 
(5.16) 之 下 Bn) 的 M 估计 . 类 似 地 , 设 ?Cn) 为 模型 (5. 31) 之 下 
Vmi M 估计 , 即 7(z) 满 足 条 件 


Dela 一 uK? a= inf Soe — raK E) 
iT serra] 


= M,. (5. 34) 
由 此 容易 得 出 
B. = b +8, '7K Ic). (5.35) 
由 引 理 4.2 容易 得 到 : 
引 理 5. 1 设 在 模型 (5. 1) 之 下 ,A4. 1 一 A4. 5、(5. 12) 式 及 
(5. 13) 式 均 满足 , 则 对 任何 常数 C>0, 及 由 (5. 33) 式 定义 的 PG) 
和 (5. 32) 式 定义 的 YCn)， 
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Sa = {0(Ys ~ r£) ~ ele) + Zire yau CE — Bind) 
-$ 1E- ew i| 20, 
Ree Èr. 一 £4.K,0) 一 Pe 
+MORE B) 
-Àd 1a law |Zo, 
a 
SE ce Diron- zh)— Ce) Jeu +A- ari Eoy 


Dvo. 2K 8) E e) Jey HAKE piny Z> 


Ite Shee 


证 以 第 二 式 的 证 明 为 俩 , 记 $ 一 7(n)=7, 它 等 价 于 


sup > {ple — zs [Kn — HSCn)]) — ple)} 


Ince 


+ See dae Ky ~ Ho n)) 


-åd tew |= 


m (5. 13) 和 (5, 20) 241 71<C 时 ， 
IK — Hôn) SC, (C 为 一 常数 ). 
由 引 理 4. 2, 注 意 到 (5. 30) , 即 得 所 要 的 结果 . I 
引 理 S.2 设 在 线性 模型 (5. 1) 之 下 ,At. 1 一 A 人 4. 5、(5. 12) 式 
及 (5.13) 式 均 满足 . 则 当 n>, 


Bon) — Bln) =A SVC, zy, + 0,1), 


Pn) — Va) = D Ktn P e) 十 on(1)， 
气 
以 上 式 中 Btn) =K, (a) 十 H,6(n). 
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证 以 第 二 式 的 证 明 为 例 , 令 
Fn) 一 Yn) = Kas Ple), 
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(5. 36) 


h da= max || zu 1->0 及 有 关 的 条 件 ， 知 Lindeberg 条 件 成 立 , 故 


上 式 有 浙 近 的 多 维 正 态 分 布 ， 故 
|?) ~ Y(n) | = 0,01) 4 2 œ, 


由 引 理 5. 1, 对 任何 c>0  S>0, 


nAi 
~ Se, 一 2,K,7(n)) 一 4 lg — Fen) 用 
KSENA 1 中 类 似 的 论证 ,有 
P| inf Zer. — 2K) 


I7 =s% 


> Sew. 一 2K Fn) + 2a) 


ii 


WEK p hh, i 
P{ |$) — Fn) || 23} + 0,34 n — oo, 
由 5 的 任意 性 ， 
Pn) — Hn) 0. 

引 理 5. 2 即 由 (5. 36) 式 及 (5. 40? 式 得 出 ， 1 

现在 我 们 来 证 明定 理 5. 1， 

证 由 引 理 5.2， 

{| BQ) — BQ) | = 00). 

由 引 理 5. 1 及 (5.41) 式 ， 


Sle, — xP @)) — ple) + pre dau Ê 一 


i= 


= 4 | BG) — Bia) ||? > 0, 
青 由 引 理 5. 2， 


(5, 37) 


(5. 39) 


(5. 40) 


(5.41) 


PD) 
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一 


EE. = aA = pe] + | Dees. | 


(5. 42) 
同样 可 得 


Ded. — 2eK.2n)) — ele J+ 支 | Kir ¥ Ce) 
= a 


2 


~ P; 
一 D Fler H, en) 一 4 ff OC) 3—0. (5.43) 
气 
由 (5. 3)、(5.4)、(5.42)、(5.43) 及 HH.H,+K.K.=I1,, 
D Hrste) 


z 
2AM. — M) = 二 Gn) |l? 


+ 20d) D Hara le) + 0,0) 


fi 


SH te) + Ad(n) 


2 
| +0,(1). 


(5. 44) 
由 (5. 5) 式 . 引 理 5.2、(5. 33) 式 及 (5. 30) 式 ， 
RW, = RH ABO) |l? 


2 
= | HK, (n) + AH,O(n) + D Elea) | + 0,(1) 
a 
=| Sener +o 
a 
由 引 理 5,1 及 5.2, 有 
DE a — UK Tn) atu D EEEa + AKI) — Yn)) 
rr 


2 
| +0,1). (3. 45) 


— AH, O(n) > 0, 
再 由 引 理 5. 2 及 K,K, 十 HH,H, 一 J,, 有 
SG 2, KI 0)) 0 — HH, OV Ce) ta AH BG) > 0. 
全 a 


G. 46) 
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Hi (5. 6), (5. 10), (5, 46) RCS. 30), 
1 2 
Rye | Del Yn ~ taK, a) 


= | D Hrt le) + Mn) 
a 


a 
| 十 orz(1)， (5.47) 
再 由 《5.7)、(5.10》、(5. 46) 及 (5. 30), 
z 2 
R= | HS 2n Y Yn 一世 区 Ce)) | 
= 


D Hnr We) + Mn) 


综合 (5.44)、(5. 45), (5. 47) 及 (5.48), 即 得 定理 5. 1. 1 

这 个 定理 的 基本 结果 ,1991 年 为 Zhao 和 Chente 在 相近 的 条 
件 下 证 得 . 此 处 的 简单 证 法 ,参考 了 Bai, Rao 和 Zhao( 见 文献 
4]) 关 于 标准 多 重 线性 模型 的 有 关 检 验 统计 量 的 渐 近 理论 ， 

下 面 我 们 来 证 明定 理 5. 2: 

证 考虑 模型 (5. 16), 不 失 一 般 性 ,可 设 8(n) 二 0. 

先 证 (5. 27) 式 , 任 取 C>0, 记 

V, = ElY¥(e + Cd) — We, — Cd% |. 

HY RARE d, = max || zu || :>0 及 A4.4, 当 nn 充分 大 时 ， 


2 
| to). (5.48) 


EI( | Btn) || <C) la —n Swe) 


SV, +2E | Pe, {Ye Cais) —¥(e, Ca) ]| 
<V, + 20VF — 0. (5, 49) 
由 引 理 5.2, 有 | AG) | 一 O,(1). 由 此 及 (5. 49) 式 即 得 


a =n OVE) + 0,(1) > EY Ce) = o, Hn 00, 


(5. 27) 式 得 证 . 
下 证 (5. 28) 式 :由 (5. 26)， 
Â, = (Onh) (ee — 2h) +h) — Ve, 2A) —h)}. 
= 


(5. 50) 


+132 Shs HM eae aa EI 
BEB BS A-O, lim inf nh? >0, WW 


nk) SWE +h) -Pe WEA 5.51) 


aT 


事实 上 ,由 A4.4, 有 


Var Gani) Drv +h) — He, — hy) 


气 
S (dnh’) -1 五 [更 (el +h) — Vee, — AP > 0,4 n — oo, 
Ri ylim(G h) —GC—A) 1/2) = Ave 
(nh) We, + A) — Wee, — h)] 
气 
= (Gtk) — GU MIVCA) 十 oo(D) S AH n > oo. 
因而 (5. 51) 式 得 证 ， 
因为 d#/h, 一 0, zhu 一 co 我们 可 到 6. >0, e0, fE 
Ch] (Eh) -> 0, A neh, > 0. (5. 52) 
由 引 理 5. 2. 
PC AG) || > eh /ds) > 0. (5. 53) 
i 
g = ICN Bn) |) Kehad 2nh) D (F eitn Pn) +h) 


一 更 (e 一 rapla) — hy}. (5. 54) 


HY AER. 51) 式 ， 
BS (Ce + DER + DAS"! 


= P, 
x Swe, (et DAY ~ We, (s+ DJA. 


iat 


(5, 55) 
同样 地 , 且 考虑 到 (5. 53), 有 


ga D TC Ê) i S enh d4) Cnh Wee, + O — ed)h) 
E 


-Ee m A eh A 6.50) 
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由 (5. 50) 式 、(5. 53) 式 ~(5. 56) 式 即 得 (5. 28) 式 . 定理 5.2 
证 毕 . I 


§ 5.2 多 重 线性 模型 中 的 M 检验 


在 本 节 中 ,我 们 考虑 形 如 (5. 14) 的 多 重 线性 模型 , 即 
Y= B'an te G= leen), 
HPY: pXle:pXlaoimX1,BimX p, CHM MERE 
头 已 经 交代 . 我 们 要 在 M 检验 的 机 制 下 考虑 如 下 的 线性 假设 ; 
H,:H'B = Cy Hy :H' BAC (5.57) 
EF A RIA mXq LRH gCo HEIN qX p ER. 

设 plw) 为 p AERE u BOY BR pDA p E u 的 次 微分 ,由 
附录 中 的 DC, CEAFA ANR. 我 们 选取 一 个 更 (x)E 
a(z), 即 到 (ze) 为 p 在 zx 的 一 个 次 樟 度 ,更 作为 z 的 函数 是 一 个 思 
维 向 基 值 函数 . 记 

D,= {u€ Rp TE u BS 

D:= iu ER p Eu 有 唯一 的 次 梯度 }; 

D= [uE R"; Y H u ER}. 

由 附录 中 的 7),D, 一 Ds. 由 附录 的 5), 更 在 任何 “6E D 处 连续 , 即 
DCD. PIE A P E u= (usnu) ER, M CODA ARR. 
事实 上 , 若 Op Ce) PERAR ID n= (1,00), u= Ors 
0,1% R* 中 的 一 组 标准 正 交 基 , 则 由 GO AAAA R , a 
有 j AKIKO) (HBC) = (a) =u" w) 0" € dow) 9 — FRI 
化 的 闭 区 间 . 当局 限于 过 PR v 方 向 的 直线 上 时 , 即 若 令 
2 A=plu+dv,) AE (一 00,00), 则 B,{u)Cap(0), 因 而 由 附录 
中 关于 直线 上 凸 函 数 的 性 质 11), PDAP utww) 0, TE A=0 
处 不 连续 ,因而 更 在 zx 处 不 连续 ,此 与 假定 矛盾 . 由 此 可 知 ,我 们 
有 Di=D:~=D， 


D 本 章 文中 提 到 的 附录 均 指 第 4 章 的 附录 . 
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由 附录 的 8) ,DD; 的 余 集 D 是 一 个 F. 型 的 集合 ,其 Lebesgue 
测度 为 0. 通过 上 面 的 分 析 可 知道 ,对 于 任意 选取 的 于 ,其 不 迷 续 
点 所 成 的 集合 Ds 是 一 样 的 

我 们 假定 思 是 可 测 的 ,并 作出 以 下 的 假定 : 

A5.1 se … 独 立 同 分 布 ,其 共同 分 布下 满足 下 CDs) 一 0 
(这 保证 了 下 面 出 现 的 P 的 某 些 泛 函 有 唯一 的 值 , 不 依赖 于 更 的 
不 同 选取 ). 

AS.2 4 |u|—>0 HY, EY (e:+u)=Auto( |u|). 

式 中 4>>0 px p WHE. 

AS.3 EY DP) =P>0, EH |u| RE || We + 

u)— Ele) |? 是 有 限 的 , 它 作 为 x 的 函数 在 w==0 ER. 


AS.4 S= Zza >0, A 
d= maxziSy xzr 0, 当 noo, 
现 分 别 用 É, 和 B, 记 模 型 (5. 14) 中 参数 矩阵 B 在 无 限制 和 
在 
H'B, = C, (5. 58) 
限制 之 下 的 M 估计 , 即 访 和 B, 分 别 在 无 限制 和 在 (5. 58) 式 的 限 
制 之 下 ,使 D o(Y 一 下 z ) 取 得 最 小 值 .为 了 检验 假设 (5. 57) ,我 
们 提出 两 种 检验 统计 量 : 一 种 是 基于 tr (WAP A,) R 
W, = (AB, 一 CD HS H) H Ê, — Co) (5.59) 
为 Wald 检验 统计 量 , A ,六 ,) 为 (A, 厂 ) 的 相合 估计 ,4 和 工分 别 
是 在 A5.2 及 A5. 3 中 定义 的 矩阵 参数 , 稍 后 我 们 将 给 出 这 些 多 余 
参数 的 估计 . 另 一 种 检验 是 基于 ce RTO) ,其 中 
R, = EBY SPEB) (5. 60) 
为 Rao 的 计 分 检验 统计 量 (Raos score type statistic 参看 文献 
[53]》, 而 


&(B,) = Savo, — Bx) (5. 61) 
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为 一 mXp HER. 

在 给 出 W, 和 R 的 极限 分 布 之 前 ,我 们 先 简要 地 介绍 一 下 
Wishart 分 布 ( 参 看 文献 [54] 中 p. 534), 设 uset ,wus 为 相互 独立 
的 p 维 正 态 变量 ， 

由 一 NU 5) G= lyre ， 
其 中 三 为 pXp ERER. WU = Cy yea) 
二 Gas pa) UA MHIN pX k ERE, ER 


U'U= Ss ut, ; 
BAA DR AEP SERKA MM D) pp Ab PS 
Wishart 分 布 , 记 为 
U'U~W, (k, 5,M'M). 

车 M'M=0, 则 相应 的 分 布 称 为 自由 度 为 上 的 中 心 Wishart 分 布 ， 
WH UU~W, (2). 

车 UU ~ W, Q, X, M M), Wj tr UE") RA A BEK pks 
非 中 心 参数 为 6 的 非 中 心 2° SMT Zhao BP 


6=tr MMS). 
着 MMMM 二 0, 则 trCU'UZ O 服从 自由 度 为 加 的 中 心太 分 布 Ka 
为 了 方便 , 令 
mi = Sy4z, G= Lecter ent) 
H, = SK*H(H SHY sm X q, (5. 62) 

则 

Set. = lay HIH, = ly (5. 63) 

气 
记 


U, = ASW ay = (teins stim) sp Xs (5. 64) 


Vi = VEDA, = (wrap Xg (5.65) 
a 
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在 本 节 中 ,我 们 还 要 考虑 如 下 的 局 部 对 立 假设 ， 
H.: H' (B — Bo) = H'A, (5. 66) 
其 中 Bo 及 A, 均 为 严 X 户 矩阵 ,使 得 
H' B, = Comi | S44 || =00), 当 nm. (5.67) 


@, = HSŽA, = (HS 'HY*H Ap Xq. (5.68) 
FREH un ,uo 是 渐 近 独立 的 ,并 且 以 p 维 正 态 NCO, 
4-P4- 0) 为 其 共同 的 极限 分 布 , 故 U Un 的 极限 分 布 是 自由 度 为 
q 的 中 心 Wishart 分 布 W, A ‘PA 5). 类 似 地 ,mom 也 是 
渐 近 独立 的 ,并 且 以 户 维 正 态 N(0,P) 为 其 共同 的 极限 分 布 , 故 
VsY。 的 极限 分 布 是 自由 度 为 9 的 Wishart 分 布 W, M. RATA 
如 下 定理 ， 
定理 $.3 假定 在 模型 (5.14) 中 ,A5.1~A5.4 以 及 (5.66)、 
(5. 67) 都 满足 , 则 当 noo 时， 


W, = U, + @)'U, + @) + oD, (5. 69) 
特别 是 , 若 原 假设 Hy 成 立 或 当 noot}, 
I] S#4, || -+ 0, 


WWW. aT AHO AY Wishart 分 布 W, A TA D. TE 
局 部 对 立 假设 之 下 , 当 n-*oc 时 ， 
O, — (H'SP HY *H' A, 有 极限 昌隆 0， 
U W. 的 极限 分 布 为 非 中 心 Wishart 分 布 W, APA, OO). 
定理 5.4 ETERS. 14) 之 下 ,A5.1~A5.4 及 (5.66)、 
《5. 67) 都 满足 , 则 当 n 一 oo 时 ， 
R, = (V, + @,A)' V, + @,A) + 0,1). (5. 70) 
特别 是 , 若 Ho 成立, 或 当 n-*oo 时 ,上 SA, || 0. MU R, 的 极限 分 
布 为 中 心 的 Wishart Ai Wl r). 4 noolt, 0., 有 极限 OF 
0, 则 Ry 的 渐 近 分 布 为 非 中 心 Wishart 分 布 W,(g,T,A@'B@A). 
定理 5.3 和 5.4 的 证 明 , 本 质 上 与 定理 5. 1 的 证 明 类 似 ,内 而 
在 此 从 略 . 有 兴趣 的 读者 可 以 参看 文献 [14]. 


La 
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这 里 需要 指出 , 当 由 W. ERRAR tr WAS ADB}, 
我 们 需要 估计 两 个 多 余 算 阵 参 数 忆 和 A R 构造 检验 统计 量 
trCR 访 5 时 ,我 们 仅 需要 估计 一 个 多 余 矩 阵 参数 T. 由 于 在 局 部 
HBE F tr WATS ADA te RPS 都 渐 近 等 价 于 自由 度 
为 pq, 非 中 心 参数 为 
8, = tr(0.0.AT-14) (5.71) 
的 入 变量 , 故 在 局 部 对 立 假设 之 下 ,由 此 得 出 的 两 个 检验 有 渐 近 
相同 的 效 . 以 上 的 陈述 只 是 对 大 样本 成 立 . 这 两 种 检验 的 优 缺 点 ， 
还 需要 通过 小 样本 情形 的 研究 来 加 以 比较 . 
下 而 我 们 讨论 多 余 参 数 和 矩阵 荆 和 4 的 估计 . 荆 的 一 个 自然 的 
估计 是 : 
P= DYO, = BDY, — Bey, (5.72) 


此 处 B 是 模型 (5.14) 中 B 的 1 估计 , 为 估计 4, 可 任 取 一 个 pX 
p ERRER Z= Gut RP p Ee 为 它 的 第 j 列 
Qj<n). 取 有 =>0, 使 


和 /di > oo, h, — 0, lim inf nh; > 0. (5.73) 
定义 
te = nh) D YY, ~ Bra, + hb) — YY, — Bix, — hb} 
(R= lye pds (5. 74) 
A, = hie Zs (5. 75) 
并 用 户 阶 对 称 阵 
À, = F(A. + AD (5.76) 
作为 正定 阵 4 的 一 个 估计 ， 
我 们 有 下 面 的 定理 : 
定理 5.5 设 在 模型 (5.14) 之 下 ,A5.1~A5.4 成立 , 则 
PS Py n> oo, (6.77) 


进一步 , 若 (5. 73) 式 成 立 , 则 
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A AY n> o. (5.78) 
因为 此 定理 的 证 明 方法 比较 独特 ,因此 ,我 们 按照 文献 [14J 中 
的 证 法 给 出 它 的 证 明 , 记 
tu =S,"%2, AKi<n); Bn)=S#B, Bln)=S#B.. 
在 模型 (5. 14) 的 规范 形式 
Y, = Bz +e, G = leen) (5.79) 
ZF BOA BE M 估计 .用 定理 4. 1 中 类 似 的 方法 可 证 明 
Bin) — Baa) = Severe +0,1). 《5.80) 
们 就 可 以 证 明定 理 5.5 T- 
u= (Wr pp)» v= (us Vp)» 
Pu) =P lu), Palu). 
记 Tt 
首先 我 们 证 明 , 车 jv |<&5/2 对 某 个 b>0 和 二 1,…, 记 成 立 , 则 存 
在 一 个 常数 C>0, 使 
CEI — bt) EW + 0) — Wu) 


<CD rv + br) — YI, 


《5. 81) 
ASAI ARAB Wiebe) — Wau) (一 2，…, 户 ) 也 成 立 ， 
我 们 指出 ,对 任意 的 rET， 
TV + br) — Vu) | o, 
而 Tu — br) — VSO. 
事实 上 ,由 凸 函数 的 次 微分 的 循环 单调 性 ( 见 第 4 章 附 录 中 
6)), 对 YrET, 有 
vP) + (or — vy Vu +) — br Va + bt) SO 
它 蕴涵 了 
(bt 一 0) [We + v) — Ww] Soe (WH + br) — Fu] 
(5. 82) 


ate 


r: pea rÉ EM 


a 


7 D MM 
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以 及 
(br 十 z [We + v) — Bor [Wu — br) — Wu). 
(5. 83) 
为 简单 起 见 , 叶 了 一 Cee Tp ES Gust stp B= CO rs 
vp VW We) ERIEK Ye) Be Y). 在 
(5. 82) 中 分 别 取 c= 1,—1, Efi 
OP — FË u +v) — Wu) 
+b vE, u Ho) = lu)) 
<a DKS HET su, HE) ~— Fu] (5.84) 


OT — FF + v) ~ Huy) 
— b+ u,) (Ulu + v) — ¥,(u)) 
bt, — Le + br u, — b) — Vu) ]. (5. 85) 
将 (5, 85) RA PTT LA (6—v,)/Co+-v,) ,并 分 别 加 到 (5. 84) 式 
的 两 端 , 即 可 消去 F, ete) —¥, (a) ,得 到 
(26/6 + v,)) bt — FË u + v) — Fu) 
SO ,DIY + 6H ,1)) — Wud] 
b—%, 
b+, 
(5. 86) 
用 这 种 逐步 消去 法 即 可 得 到 (5, 81) 的 第 二 个 不 等 式 , (5.81) 的 第 
一 个 不 等 式 可 由 (5. 83) 式 类 似 地 得 到 . 
为 证 明定 理 5. 5, 不 失 一 般 性 ,可 设 在 模型 (5. 14) 中 真 参数 矩 
阵 =0, 即 模型 (5. 79) 中 B(x)==0. 由 (5. 80) 式 ， 
| Bm) || = 0,0. (5. 87) 
由 0,24 nool}, 
PC || Bar) || > dad) > 0. (5. 88) 
由 A5.1、A5.3. 和 强大 数 律 , 当 n->oo 时 ， 


PS at VENUE) SPH nds as. (5.89) 


+ 6@, — DV! +4, —1)) —¥@)] 
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W Â= Od) P= Find ,有 


n DECE, — BO a hate, — Bey’ x.) 


os 


[Fn 一 入 | 一 


— HC) ¥, (Ce) ] 


Kat DM, — an) an) 一 到 (了 
气 


X a SW Ce, — Bn an) + a SVE) 


a 气 
Kn Se Bon)'z,) — Eple) T. (5. 90) 
7 


BE | BOD ‖ <a. RER, || Bw aw I <d 对 任意 的 
i<n. 由 (5.81) 式 ,存在 一 个 正 的 常数 C ,使 


a HG, — Y zy — We) FIC || Bod | <r 


mm 


<c max{n 15I E, + ade) — We) at © T); 


气 
《5.91》 
由 A5.3、A5.4, 对 固定 的 rET, 当 mw>o0 时 ， 
Bln) ee + aže — woe) | "| 
= E || Y, + 2dr) — Yle) ||? — 0. (5. 92) 
故 由 (5. 88)~ (5, 92) ERR H T) =A 
EN EE Pe =1 
由 (5. 89) 及 (5. 93) 即 得 (5.77) 式 . 
今 证 (5.78) 式 :为 此 ,我 们 证 明 对 任何 常数 C2>0， 
(ny DOLEE, — Bony! zs + ED — ike + AGT 


mi 


sp). (5. 93) 


XTC BQ) | <OC) 240 C= lysed. (5.94) 
由 (5. 81) 式 ,为 证 (5. 94), 只 需 证 明 对 每 个 固定 的 rET, 有 
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,= (nh) Dr he, + 2Cd Br + hha) 
=a 


— Ve + AE] 0. (5. 95) 

H A5. 1,A5. 3,A5. 4 BG. 73), 
Var(V。)< (nh?) Ee [Ye + 2Cdžr + Abs) 
— He, + AG) I}? 
< Gah?) |z || FE || Wee, + 2Cder + AL) 

— Vee, + ht) ||? + 0. (5. 96) 

另 一 方面 ,由 A5. 2,A5.4 及 (5.73) 式 ， 
EV,= hY ECE (e, + 2Cd¥r + hha) 
— We, + Ab] +0. (5. 97) 
由 (5. 96) 22 (5. 97) 即 得 (5. 95) 及 (5. 94). 注意 || BOD ‖=0,(1)， 
得 
(nh) SEEE — Bony’ zs + bE) — Ve + AOI 0. 
ron 


(5. 98) 
同样 有 
Cah) “SOHC, — BOW zy = AE) — Yl — WEY 0. 
5 (5. 99) 
H A5. 1,A5.3 RG. 7DR X$ m=1, py n>}, 


Var{ (nk)! STYE, ERG) 一 ¥,.(6))} 


L (nh) ELY Ce hE.) 一 Panle) T? 0. (5, 100) 
另 一 方面 ,由 A5. 2 及 hn>0, 有 


(nh) DELY Ce, + ALL) — Be, — ALY 


= (2h) ELH Ce, +E) E Ce — hE] 
AG k= Lisp). 《5. 101) 
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由 (5.100) 及 (5.101), 对 =1,*…,p， 
(anh) SY + hE.) — Whe, — VT Ab, 


气 
(5. 102) 
由 (5.74)、(5. 98), (5. 99) 及 (5. 102K IPEMB 2, = Bin)! zw 可 
得 
he Ab, @= 1p) noo (5.103) 
HH (5. 75) (5. 103), 


A, ie AG est DZ = A. 


故 也 有 A, ZA ATIG. 78) 式 得 证 . 这 样 就 完成 了 定理 5.5 的 证 
明 | 
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将 好 方法 用 于 线性 模型 (5. 1) 之 下 线性 假设 (5. 2) 的 检验 , 较 
早 的 工作 可 以 举 出 Schrader 和 Hettmansperger“) & Sen] H T 
作 . 1980 年 ,Schrader 和 Hettmansperger"® ZE Huber 的 文献 [34] 
中 的 三 个 条 件 (参看 $ 4. 3) 之 下 研究 了 MMRDA 
(5.4) 式 ) 在 H 及 一 列 局 部 对 立 假设 之 下 的 渐 近 分 布 ,文中 对 西 
RR o 的 光滑 性 提出 了 较 高 的 妆 求 ,需要 有 足够 高 阶 的 有 界 导 函 
数 . 1982 年 ,Senc 研究 了 Rao 的 计 分 检验 准则 的 一 种 变化 形式 ， 
即 (5. 7) 式 中 定义 的 R* .为 了 建立 Re 在 Hs 之 下 的 渐 近 的 六 分 
布 .他 对 委 .F 和 {zi} 加 上 了 较 强 的 限制 条 件 , 其 中 包括 要 求 随机 
误差 e 的 分 布 已 具有 绝对 连续 的 密度 函数 上 和 有 限 的 Fisher 信 
息 量 : 


1 = POSERE, 


至 于 加 在 {z.) 上 的 、Juretkova" 1 引进 的 复杂 条 件 ,在 Singer 和 
Sen 于 1985 年 研究 多 重 线性 模型 的 M4 检验 的 文章 “中 已 经 去 掉 
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T 

在 plu) = |ul 的 特殊 情形 , 即 导致 了 最 小 绝对 偏差 (LLAD) 的 
检验 准则 ,在 这 方面 的 参考 文献 有 ; Koenker 和 Bassett 1982 年 
BY HIE“) Koenker 1987 年 的 论文 **]、Mckean 和 Schrader 1987 
REX, Bai Rao 和 Yin 1990 年 的 论述 5 等 .用 六 和 应 分 
别 记 在 有 关 的 线性 限制 下 和 无 限制 时 回归 参数 8 的 LADE, 在 文 


BIH TEBE AEE AEDS |Y: 一 z 忆 | 一 和 |Y: ah, f 
渐 近 分 布 给 出 了 严格 的 推导 . 

1991 年 ,Zhao 和 Chen 在 文献 [68] 中 在 模型 (5. 1) 之 下 ,研究 
了 线性 假设 (5. 2) 的 两 种 检验 准则 M.M, 及 RR: ,在 一 列 局 部 对 
立 假设 He FTES A4. 1~ Ad, 5 相近 的 条 件 下 建立 了 它们 的 渐 
近 表 达 式 和 渐 近 分 布 ,并 且 给 出 了 多 余 参 数 的 相合 估计 . 

考虑 形 如 

=XP +e G= lren) (5. 104) 

的 多 重 线性 模型 ,其 中 工 为 p 维 观 测 向 量 ,X: AEA mx p E 
阵 ,有 为 未 知 的 mm 维 回归 参数 ,{6) 为 一 列 id. p 维 随机 误差 . 设 H 
是 秩 为 4 mxa 矩阵 ,po 为 已 知 的 mm 维 向 量 ,为 检验 线性 假设 
Ho: H' (8— Bo) =0,1990 Æ Bai, Chen, Miao 和 Rao! HEI T ££ 
“最 小 距离 "意义 下 的 有 关 检 验 准则 , 用 及 和 A, INRE Ha 限制 
下 和 没有 限制 时 的 最 小 距离 售 计 , 即 


È IY,- XB = BED NY, — XAN 


ply, — XA = int SY, — XPI. 
他 们 在 较 弱 的 条 件 下 建立 了 在 H 之 下 
> WY, — XB I 一 > LY. — Xê. Il 
药 极限 的 加 权 分布. 在 误差 分 布 为 球 对 称 的 条 件 下 ,上 述 极限 


分 布 可 以 为 自由 度 为 g 的 中 心 x 分 布 ， 
1992 4 „Bai, Rao 和 Wu M 机 制 下 研究 了 在 多 重 模型 
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(5. 104) 之 下 Ho 的 假设 检验 . HB, 和 记分 别 记 8 的 M 估计 . 在 
很 弱 的 条 件 下 他 们 证 明了 :在 及 ,之 下 ， 


De, — XB) 一 Dew, — Xk) 


per imi 


渐 近 于 一 个 加 权 的 闪 分 布 ,而 相应 的 Wald 统计 量 渐 近 于 自由 度 
为 9 的 中 心 六 分 布 . 

1993 年 ,Bai、Rao 和 Zhao 研究 了 在 标准 的 多 重 线性 模型 
《5. 14) 之 下 检验 假设 Ho: H'B 二 Co 的 问题 ,在 一 列 局 部 对 立 候 
HHn FET Wald 检验 统计 量 和 Rao 的 计 分 检验 统计 量 
的 Wishart 渐 近 分 布 , 即 § 5. 2 中 的 定理 5. 3 和 定理 5. 4, 并 且 给 
出 了 多 余 矩 阵 参 数 的 相合 估计 . 


M 估计 的 线性 表示 
$ 6.1 引言 与 启发 式 推导 


在 第 4 章 中 证 明 M 估计 的 渐 近 正 态 性 时 ,我们 所 使 用 的 方法 
的 要 引 , 在 于 从 M 估计 中 分 出 一 个 线性 独立 和 , 即 独立 随机 变量 
的 线性 组 合 , 它 与 MM 估计 之 差 称 为 剩余 项 ,在 概率 上 是 无 穷 小 . 这 
样 ,M 估计 的 极限 分 布 与 这 线性 独立 和 的 极限 分 布 是 一 致 的 . 而 
根据 古典 中 心 极 限定 理 知 ,后 者 在 很 一 般 的 条 件 下 就 是 正 态 分 布 ， 
这 就 得 出 了 所 要 的 结果 . 当然 ,这 个 证 明 尽管 在 概念 上 简单 清楚 ， 
但 却 并 非 容 易 实 现 . 因为 找 出 上 述 线性 独立 和 以 及 证 明 剩余 项 在 
概率 上 可 忽略 不 计 等 , 均 非 易 事 . 

这 个 方法 有 相当 程度 的 普遍 性 ,我 们 所 熟知 的 一 些 常用 统计 
量 , 如 甜 估计 、 极 大 似 然 估计 ,其 浙 近 正 态 性 的 证 明 , 用 的 就 是 这 种 
方法 一 -对 原点 矩 估 计 直 接 用 古典 中 心 极限 定理 ,而 对 中 心 逢 估 
计 , 利 用 它 可 玫 为 若干 个 原点 矩 估计 的 多 项 式 ,对 此 多 项 式 用 
Taylor 展开 ,分 出 其 线性 部 分 (由 于 各 原点 抵 估 计 并 非 独立 ,需要 
用 到 多 维 的 古典 中 心 极限 定理 ). 对 极 大 似 然 估 计 , 则 通过 似 然 方 
程 分 出 其 线性 部 分 . 在 此 ,剩余 项 的 处 理 就 稍稍 复杂 一 点 了 . 另外 
一 些 重要 的 例子 ,如 Hoefiding 的 U ih E KERAHE KE 
统计 量 线性 组 合 等 ( 见 文献 [3]), 其 渐 近 正 态 性 的 证 明 也 是 用 这 个 
想法 .当然 ,这 并 不 是 说 ,此 乃 处 理 统计 量 渐 近 分 布 的 唯一 方法 . 在 
渐 近 分 布 为 非 正 态 的 情况 ,如 有 名 的 Kolmogorov 一 Smirnov 统计 
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量 , 极 值 统计 量 等 ,这 个 方法 就 不 适用 了 . 但 由 于 正 态 分 布 是 统计 
量 的 最 常见 的 一 种 极限 分 布 ,而 经 验 表明 ,在 这 种 情况 下 此 法 往往 
可 用 ,这 使 得 它 仍 不 失 为 最 重要 的 一 种 方法 ， 

一 般 地 , 设 Yi Yn, 为 独立 样本 ,了 .一 To(FY，…,Y,) 是 一 个 
统计 量 或 其 一 个 线性 变换 (例如 ,名 二 名 (Y,，,…,Y,) 是 某 参数 向 量 
9 的 一 个 估计 . 设 9 为 p 维 ,a, 和 4, 分 别 是 已 知 的 或 依赖 于 6 的 
维 向 量 和 p 阶 非 异 方 阵 , 令 

T, = A,@, — a,). 
按照 这 种 提 法 ,a, 和 A, 可 以 依赖 于 参数 ,严格 说 来 .T. 不 必 是 统 
计量 . 这 一 点 对 下 文 的 讨论 并 无 影响 ). 所 谓 T. 的 线性 表示 ,是 指 
ET. ZAH 


Ta = Ly + Ray La = Cat F e + Catas 6.1) 

其 中 = + ven 线性 独立 . 一 般 地 z: 只 依赖 于 了 ,从 而 其 独立 性 由 
的 独立 性 保证 . cm ，… ,cm 是 常数 , 工 , 是 7, 的 线性 部 分 (或 线性 
项 ), 而 R, 称 为 剩余 项 ;R。 必须 在 某 种 意义 上 为 无 穷 小 ( 随 noo 
MAF 0) ,不 然 ,表达 式 (6. 1) 对 于 探讨 了 T, 的 渐 近 性 质 就 没有 意 
义 了 (从 实用 的 观点 看 ,如 果 R, BARA) AAMT L 而 言 甚 
小 , 则 简化 了 的 La 可 近似 地 取代 77, 而 使 统计 方法 简化 . 这 一 点 
与 本 章 的 讨论 无 关 , 表 过 不 再 提 了 ). 最 常用 的 两 种 情况 是 ,R, 依 
概率 无 穷 小 (0,《1)), 及 以 概率 1 或 几乎 必然 无 穷 小 (oC1),a.s. ). 
对 这 两 种 情况 ,(6. 1) 式 中 的 Lu 分 别称 为 7, 的 弱 ( 线 性 ) 表 示 和 强 
(线性 ) 表 示 . 对 深 一 晨 的 渐 近 性 质 而 言 ,往往 仅 要 求 R. 为 o,(1) 或 
o(1) ,a.s. 还 不 够 ,还 须 它 趋 于 0 时 有 一 定 的 速度 ， 

总 结 上 述 ,就 可 以 把 统计 量 的 线性 表示 的 问题 一 般 地 表述 为 : 
要 找 出 表达 式 (6.1)( 这 等 于 说 要 定 出 工 .) ,使 在 尽 可 能 弱 的 条 件 
下 ,证 明 剩 余 项 有 尽 可 能 快 的 趋 于 0 的 速度 . 不 言 而 喻 ,这 “ 尽 可 
能 ?可 走 多 远 , 取 决 于 了 ,而 并 非 随心 所 欲 ,然而 ， 所 用 的 方法 及 分 
析 的 深度 ,决定 了 所 得 结果 的 深度 . 

在 作 了 上 述 一 般 性 的 开场 白 以 后 ,让 我 们 回 到 线性 模型 中 的 
M 估计 的 问题 . 仍 设 有 线性 模型 (1. 1),(1. 1) 式 中 的 zx; 和 By 分别 
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为 已 知 的 和 未 知 的 p 维 常 向 量 ,随机 误差 e1,e:，… 假 定 为 iid.， 本 
章 中 一 些 结果 不 难 推广 到 。 仅 是 独立 但 不 必 为 同 分 布 的 情况 , 这 
种 推广 只 是 在 形式 上 复杂 一 点 ,推理 的 本 质 并 无 变化 . 选 定 函 数 
所 仍 以 入 二 (1 六,) 三 启 (Y1,…,Y,) 记 使 用 函数 o 所 产生 的 
M 估计 . 我 们 先 提出 2 的 线性 表示 的 形式 ,再 给 出 一 个 启发 式 的 
(形式 的 , 非 严格 的 ?推导 , 在 以 下 几 节 中 将 给 出 严格 的 论证 ,并 指 
出 这 一 线性 表示 的 若干 应 用 . 

记 


S,= Dz 
a 
Tu= S n (Sia), 


又 暂 设 于 (wu) 二 p(n) 当 wu€ R' 处 处 存在 ,上 (x) 也 处 处 存在 ， 
EY'(e1) 存 在 .有限 , 昌 不 为 0: h 寺 EW' (ei) 关 0, 则 


SECB, — Bo) =h De) zr, + Ree (6.2) 


这 里 ,最 初 的 对 象 是 M FTE BL, SAA, Bod FE Be 的 一 个 线性 变 
换 , 相 当 于 (6. 1) 式 中 的 了 T., Ved. 1) 式 中 的 zi 

为 导出 (6. 2) ,利用 M 估计 的 定义 及 亚 一 0 处 处 存在 的 条 件 ， 
得 


Sre. =a Ba = 0. 


EEY. rhone, LATHE A: 


Swe — zp, — Boz, = 0. (6. 3) 
¥ We, — 21 (8, — Bo) Ee; 处 作 Taylor 展开 ,只 取 其 线性 部 分 , 近 
似 地 有 
We, — 2B, — BD) VED — Veh, — Box. 
(6.4) 


上 式 当 充分 大 时 ,近似 成 立 . 其 直观 理由 是 :在 很 一 般 的 条 件 下 ， 
Ê 为 相合 估计 , 故 当 二 很 大 时 , 记 一 6 充分 小 ,因而 高 次 项 可 忽略 
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Ait. 以 (6.4) 代 入 (6, 3), 得 
Sw (e)z.2.(B, — By) © Svs. (6.5) 
由 于 一 BW GOAO- RRM T RARE, 4 n 充分 天 时 ， 
近似 地 有 
Sy Ceta, a D = hS, (6.6) 
以 (6. 6) 代 入 (6. 5), 得 
hS, CB, — Bo) © Erer. 
Paes Cee ee 
SÉ, — Bo) ~ Diverse ah = Ber/ (6.7) 


这 样 就 得 到 了 (6. 2》， 其 中 剩余 项 R, 为 无 穷 小 . 

当然 ,这 个 启发 式 推导 的 目的 ,只 是 在 探究 如 果 A 有 线性 表 
示 , 它 该 有 什么 样 的 形状 ,而 不 是 严格 的 证 明 . 甚至 在 以 下 各 节 的 
严格 理论 中 ,上 述 推演 过 程 中 的 某 些 假定 也 不 必要 ,例如 o 处 处 可 
微 的 条 件 (Y 的 定义 略 加 修改 ). 我 们 所 要 做 的 是 :在 尽 可 能 少 的 
条 件 下 去 证 明 (6.2) 式 中 的 R, 为 无 穷 小 . 

这 个 领域 的 工作 最 早 发 源 于 Bahadur 在 1966 年 的 文章 5 ， 
其 中 研究 了 样本 分 位 数 的 线性 表示 ,对 样本 中 位 数 的 特例 ,相当 于 
BUH Y= bte, 且 取 po = |x| 的 情况 , 记 Ê= med (Y, ,Y,). 
Heien H iid. ,med(e1) 一 0， ei 的 分 布下 在 0 点 有 导数 (0) 
0. 在 这 种 条 件 下 ,很 容易 得 出 及 的 弱 线 性 表示 : 


Vn (Be — Bo) = Ssgne)/(2 Vn FO) + Rey (6.8) 


而 剩余 项 R, 有 数量 级 O, Cn-*) (其 证 明 见 文献 [3] 中 引 理 1. 2). 
较为 困难 的 是 强 表示 ,其 形式 与 (6.8) 相 同 . 在 更 强 一 些 的 条 件 下 ， 
Bahadur 证 明 剩 余 项 R, 有 数量 级 : 

R, = OOrxdlogn)5sdloglogz)2) a.s.. 《6.9) 
(6.9) 这 个 数量 级 远 不 如 弱 表 示 总 义 下 的 数量 级 Oor”) ,但 这 并 
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非 由 于 证 法 上 的 缺陷 ( 详 见 后 ). 事实 上 可 以 证 明 ,(6. 9) 式 中 的 主 
要 部 分 nx“* 已 无 可 改进 , 即 不 能 以 wn“ 代替 mn-%*, 对 任何 a>>1/4. 

在 Bahadur 以 后 ,这 个 方面 的 工作 有 多 年 没有 什么 进展 ,这 并 
不 奇怪 ,因为 有 关 线 性 模型 参数 M 估计 的 基本 工作 ,到 1973 年 才 
由 Huber 提出 来 ,其 中 只 涉及 诸如 相合 性 和 渐 近 正 态 性 这 类 较 浅 
层次 的 渐 近 性 质问 题 . 在 此 后 若干 年 中 ,M 估计 的 研究 大 笨 仍 局 
限于 这 种 问题 , 直到 1989 年 ,Babul9 研 究 了 在 一 般 线性 模型 (1. 1》 
之 下 LADE 的 线性 表示 . 1992 年 ,Rao 和 Zhao!” #8 Babu 的 研究 
推广 到 般 丁 函数 的 情形 , 1993 年 , 陈 希 隐 于 文献 [2] 中 ,在 限制 
性 条 件 之 下 研究 了 p 不 必 为 凸 函 数 时 ,M 估计 的 线性 表示 ,并 考 
虑 了 其 若干 应 用 . 本 章 的 内 容 即 是 以 上 述 这 两 项 工作 为 基础 的 ， 

可 以 把 统计 量 的 线性 表示 与 统计 量 分 布 的 渐 近 展 开 作 一 比 
较 . 二 者 相似 之 处 在 于 :其 目的 都 是 设法 用 一 个 较 简单 ` 较 易 处 理 
的 对 象 去 逼近 一 个 复杂 的 ,难于 直接 处 理 的 量 . 不 同 之 处 在 于 : 统 
计量 的 线性 表示 是 针对 统计 量 本 身 ; 而 统计 量 分 布 的 渐 近 展开 则 
是 针对 其 分 布 . 另外 ,线性 表示 其 吏 近 的 阶 有 一 定 限度 ;而 渐 近 展 
FEE YW REP PRAHA R RES. 

本 章 将 限于 讨论 z, 为 非 随机 的 情况 . 如 以 前 曾 指出 过 的 , 当 
a, 本 身 也 是 随机 时 ,有 关 的 结果 原则 上 可 以 由 x; 为 非 随机 的 情况 
推出 来 . 但 是 ,如 同 我 们 在 讨论 弱 相合 的 问题 时 曾 看 到 的 ,这 样 做 
往往 使 所 提 的 条 件 不 必要 地 加 强 了 , 因此 ,还 有 必要 直接 去 研究 这 
种 情况 . 对 此 ,我 们 介绍 读者 参阅 文献 [48]. 
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取 线性 模型 (1. D SIGNET MTT AICS LA, i8 A FL p 
所 产生 的 对 估计 , 令 S. = D ma AA 
In = Sz ASi<n), d, = max || zw ||’, 
lr 


并 分 别 以 和 pp 记 5, 的 最 小 和 最 大 特征 根 .对 任意 两 串 常数 
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{an} A (hats GF a. 一 OC6,) 且 如 二 OCa,), 则 记 为 a,~5,. 以 更 -和 
PNE p HA APR. 

本 节 的 内 容 是 讨论 当 p 为 凸 函 数 时 ,线性 表示 (6. 2) 中 剩余 项 
的 阶 . 如 前 面 提 到 的 ,Rao 和 Zhao 在 1992 年 的 工作 "是 第 一 个 
用 一 般 的 形式 研究 这 个 问题 的 . 本 节 所 用 的 方法 就 是 本 源 于 文献 
[57]. 但 在 这 里 增加 了 对 一 个 特殊 情况 一 一 即 为 ~ 情况 的 讨论 
一 一 在 这 个 情况 下 ,文献 [57] 中 得 到 的 R, 的 阶 可 以 改善 .入 ~ 
成 立 的 情况 在 应 用 上 有 重要 性 ,因为 它 包含 了 

S/n>V>0 (6. 10) 
的 特例 . 

A 满足 的 情况 :定理 表述 与 假定 的 讨论 

定理 6.1 假定 有 以 下 的 条 件 : 

A, esez} iida 

A. 2 为 凸 函 数 , 左 、 右 导数 为 更 - Yi 

A, FEY. V_<V<CY, ,使 EECe) 一 0; 

Ac Sul bE Gd SEV Ce, tu) FEAR 

As 0<o°=EW*(e,)<00; 

As E|¥(e) | <0; 

Ar 对 充分 小 的 A>>0, 有 sup Puth -PU <0; 

Ay Klu ZAC OFE. W g= (0), 有 1G' (Ce 一 | 
=O lu | 4) 4 uw 0s 

As d, 二 o((log n)~*{loglogy,)—), AWE O>2,4 d= 
OCog pn) ?) 

Ate hh 
则 如 在 (6. DRP g 取代 及 ,剩余 项 R, 满足 

R, = Old% (logn)* Cloglog#,)), a. s.. (6.11) 

看 起 来 定理 的 条 件 罗 列 很 多 ,其 实 内 涵 并 不 复杂 . 下 面 作 些 解 
FE: ` 

D A ~A 这 些 条 件 以 前 在 讨论 相合 性 时 曾 提 出 过 . 线性 表 
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示 的 要 求 比 相合 性 高 得 多 , 故 其 出 现 应 属 自然 . A。 要 求 更 (e,) 的 
三 阶 矩 存在 有 限 , 比 A; RRE, 基于 问题 的 更 深 的 层次 ,这 也 可 
以 认为 是 不 过 分 的 . 

2) 条 件 As 要 求 4,>0, 并 有 一 定 的 速度 . 这 种 条 件 在 前 面 讨 
C2 的 强 相合 性 和 渐 近 正 态 性 时 也 曾 碰 到 过 , 线性 表示 是 更 深层 
次 的 问题 ,出 现 这 种 条 件 , 且 对 d, 的 阶 要 求 更 高 ,是 可 以 理解 的 
一 一 我 们 进一步 看 出 了 d, RAEE Ê. 的 大 祥 本 理论 中 的 作用 . 

A。 第 一 个 条 件 是 基于 (6. 11) 式 :只 有 d, 达到 这 样 的 阶 ,由 
(6. 11) 才 能 得 出 R,=o(1) ,否则 ,(6. 11) 就 没有 意义 了 . A, 的 后 一 
条 件 以 及 Aio 的 作用 可 在 后 面 引 理 6. 3 的 证 明 中 看 到 . 

Ag 对 d 给 出 了 两 个 阶 的 要 求 . 哪 一 个 强 , 哪 一 个 弱 , 要 视 po 
而 定 , 在 ~ 时 ,后 一 个 阶 比 前 一 个 阶 高 (对 任何 a > 0). 

D 真正 本 质 的 条 件 是 A, 和 As. 它们 是 对 函数 与 ea 的 公共 
分 布 的 较 强 的 限制 (相对 于 相合 性 与 浙 近 正 态 性 的 问题 面 言 ). 
我 们 先 考察 几 个 重要 例子 ,以 探究 这 些 条 件 的 含义 如 何 . 

例 6.1 对 于 LADE, 此 处 p(z)= lw} Wu) =sgn(u) 4 uF 
0 WO) =a 时 (对 某 个 a€ [0,1]),As 自然 成 立 . X GU) 一 
EY (e+w)=1 一 2F(1 一 w). 若 f= 下 在 4 的 邻 域内 存在 , 则 G' u) 
= 2f(-w HE. g= 2/0). BE g>0, MER £0) >0. 最 后 ， 
As 的 后 一 条 件 要 求 

|f@) 一 Fo)| = OC /Tz]). (6. 12) 
总 结 而 言 : 对 LADE, Ar~ As 要 求 下 在 其 中 位 数 0 附近 有 连续 非 
0 的 密度 有 ,满足 (6. 12). 

还 应 注意 :在 本 例 中 上 EV'(e,)==0, 故 g 不 是 按 导出 (6.2) 时 那 
样 取 h=EY'(e1) 为 值 ,而 是 2fC0). 类 似 情况 在 以 下 还 会 见 到 ， 

例 6.2 Huber 函数 


ap lu| Ses 
reo) faa 0 40 uc; 
—tautotrd, u<- ce 
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5 与 a 为 常数 ,0<c<a (abc 保证 了 o ARR) OP: 

D c=a; 这 时 更 一 0 处 处 存在 ,有 界 , 且 满足 Lip(1), 这 时 A, 
当然 成 立 ( 对 这 种 情况 ,R, 的 阶 可 改善 , 见 后 面 第 三 段 定理 6. 2). 
但 为 使 EECei) 一 0, 对 e 的 公共 分 布 忆 应 有 所 限制 ,例如 假定 下 
关于 0 点 对 称 . 为 考察 As, 设 | zx | 充分 小 , 且 下 在 土 c 点 的 邻 域内 
有 连续 密度 SBM 

Gw= afl ~ Fu to] 2 f Ë e t wdea) 

— 2cF(—u—ce). 
在 上 述 假定 下 , 当 |x| 充 分 小 时 ,有 
G (a) =2F(—ute)—2F (—u—c). 
WF F tc 附近 有 连续 密度 ,由 此 式 知 1G' (wx) 一 g1=O(|x1*) 
的 条 件 满足 (实际 上 为 O(x)). g>0 的 条 件 归 结 为 FOSFO o) 
>0. 总 结 而 言 :对 本 例 的 c=a 的 情况 ,条 件 An A 归结 为 :F 在 
士 c< 附 近 有 连续 密度 , FOF). 

有 两 点 值得 注意 :虽然 在 此 处 w = 处 处 存在 ,但 土 是 pz 不 
存在 的 点 , 故 分 布 在 这 些 点 的 邻 域内 的 光滑 性 有 要 求 ;其 次 ， 
g= FO) —F(—0)) = EW (ei) 与 (6.2) 式 中 的 4 一致; 在 p 处 处 
存在 时 的 情况 总 是 如 此 (当然 ,FF 在 p" 不 存在 的 点 的 邻 域内 有 要 
Rg HEV (e1) 的 情况 只 出 现在 o 非 处 处 存在 时 . 

2) <a: 这 时 包 仍 为 有 界 ,A; 满足 , As 的 情况 更 复杂 一 些 : 
当 |z| 充 分 小 时 ， 

GW= 2(a -—o)f(-ute)+2a—c)f(—u-—e) 

+ 2F(— utc) — 2F(—u-—o). 
此 式 当 下 在 土 c 的 邻 域 内 有 连续 密度 了 时 成 立 . 由 此 式 可 见 :为 了 
£=G(0)>0, RM flo) f(—OAM Fle) FC -c) 至 少 有 一 个 不 
为 0, 这 比 前 面 要 求 Fe) 一 F( 一 c)>0 HH. AG! Ge) —g| = 
OC\ul*) BA | fhe tu) — fite) | =OCul*), we 0C4 c=a 
时 ,无 此 要 求 ). 又 此 处 
g=2a— E)E) + f(— 十 2(F(c) — FC e)) 
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= 2(a — (fle) + f(— e) + EW Ce) 
RY AH EV (ci) 不 同 , 且 一 般 总 比 关 大 . 
这 里 我 们 仍然 看 出 :F 在 或 yr 不 存在 的 点 的 领域 内 ,其 光 
滑 性 有 要 求 : 若 zw 存在 但 p" 不 存在 ,要 求 少 一 些 ; 若 p' 不 存在 , 则 
要 求 多 一 些 . 
例 6.3 WEO, S puslu 十 (1 一 6)u?, 这 可 以 看 作 
E LADE 和 LSE 的 - -种 折衷, 希望 能 以 此 折衷 吸收 二 者 的 优点 . 
为 简化 讨论 , 设 6 的 公共 分 布 关于 90 对称 ,这 时 可 取 WO) =0. 
ER A 满足 . 又 
Ga) = 8G — 2F(— u)) +20 — Ou 
CLs ARLE Ele; |<oo, mt Ee =0 RW FAF OM) B 
定 下 在 3 点 的 邻 域内 有 连续 密度 /, 则 
G' (u) = 20/(—u) + 201 — ò), 
不 论 f(0) 是 否 大 于 0, 总 有 
g = 2f(0) +20 — 8) > 0. 
这 与 例 6. 1 不 同 .而 IG'(w) 一 g|=0(|u1*) 的 成 立 需 要 
[FQ 一 ro)1 = 0lu)*), u 0. 
这 与 例 6.2 P a>: 的 情况 相同 . 
在 应 用 上 常见 的 隙 数 p, 多 是 这 种 情况 : 除 有 限 点 ai<<…<a- 
外 ,2 存在 . 对 这 种 p, 根 据 以 上 各 例 ( 它 显然 也 适用 于 一 般 情况 ， 
不 限于 这 几 个 例子 ),A;、As 的 成 立 要 求 以 下 几 条 : 
D 在 a 的 分 域内, e 的 公共 分 布 玉 有 连续 密度 f; 
D 如 对 其 中 某 个 ee'(a.) 也 不 存在 , 则 了 应 进一步 满足 : 
|f la, + u) — flad| =OC/Tul), ur 0 (6.13) 
3) Ë pP E R 处 处 存在 (包括 ase aw) WER 
h= EW'(e,) > 0. (6. 14) 
这 时 G0) =e =h. BOE ane ae 中 的 某 些 点 一 一 例如 ay， 
a, 处 不 存在 ,于 是 或 者 有 (6. 14) ,或 者 至 少 对 某 个 到 AS PA 
Fab>0. 在 后 - HLA Éh. 
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仅仅 以 上 天 条 尚 不 足以 保证 A;、As 成 立 , 还 涉及 以 下 几 点 : 
当 1u| 一 oo 时 ,p(w) 增 长 不 能 太 快 ,p(x) 在 R 各 部 分 上 的 变化 不 
能 过 于 不 均匀 . 例如 , 当 a> 2 时 ,plu) 二 |ul" 不 满足 Ar. 一 般 地 ， 
如 果 当 ful 一 2 时 1p” (uw) | oo, As 不 能 满足 . 这 限制 了 p 大 体 上 
应 是 Ol?) 级 的 . 我 们 不 易 把 一 切 满足 AA 的 p 简 单 地 刻 划 出 
来 ,但 下 面 的 充分 条 件 是 简单 有 用 的 : 除 满足 前 述 三 条 外 , 若 在 每 
EE asam) (一 0,1,…*mzi Qo 二 一 00, any =O A, PAR 
且 满足 Lip(1/2), 则 Ar A: 成 立 . 当然 ,不 止 限于 这 种 情况 . 

这 些 条 件 似乎 对 函数 o 的 光滑 性 加 上 了 颇 高 的 要 求 ,但 从 实 
用 观点 看 ,其 要 和 害 之 处 在 于 : 它 容许 p' 和 pr" 可 以 在 菜 些 点 不 存在 . 
这 一 点 至 关 重 要 , 它 使 我 们 不 致 把 一 些 应 用 上 重要 的 p( 如 plu) 二 
lu ?排除 在 外 . 

二 、 定 理 6. 1 的 证 明 

证 明 的 方法 适用 于 后 面 要 讨论 的 其 他 情况 ,细节 上 也 大 同 小 
异 . 因此 ,我 们 要 仔细 写 出 这 一 证 明 来 ,以 方便 读者 将 其 推 于 其 他 
情况 . 由 于 证 明 甚 繁 ,我 们 将 所 需 的 预备 事实 及 证 明 中 的 关键 部 分 
列 为 一 些 引 理 如 下 : 

引 理 6. 1(Berry-Esseen FER) HIEM E, ,6, 相互 


Mhar, GAMA 0,0< Be = DIRE <o, C= DUE IE). HFA ® 


分 别 记 B Dik, M N CO, DAAA RRO UAE CEA A A ,使 

H, = sup |F, (z) — Dla) | < AC,/BL (A HT 取 为 0.8). 

证 明 见 文献 [49] 中 p. 111. 1 

引 理 6.2 在 引 理 6.1 的 记号 下 ,车 Boo, B/B >l, H 
存在 a>1, 使 五,=O(dog5,)-), 则 (8 ) 满 足 重 对 数 律 ; 

sup /< s 1; 
tim," (S28 /2Biloglogs*) = 化 re ar Sy5, 
证 明 见 文献 [49] 中 p. 305. I 
引 理 6.3 在 定理 6. 1 的 条 件 下 有 :， 
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Be =g DOE letn = OC Coglogy,)*). a.s. (6.15) 


为 了 证 明 ,以 ani x 的 第 了 个 分 量 ; 令 Q= DPC rians 
QFE D Weed, 的 第 j 个 分 量 . 接 假定 As.As 及 At, 有 


EQ, = 0, 0< B} = Var(Q.) = 


(6. 16) 
以 及 
c=DElv e000 Blas”) Ol max I z 1 Dt) 
注意 到 
Zrzi 一 和 Rh max lla || = max | Sáru || = OCs), 
vet lessee Sie 
有 C, = Od 22%). 


又 由 (6.16), 有 展 一 ,于 是 由 引 理 6. 1 H.-Ods). 因为 
Aw tas A damp max 上 x, ||? HEL EEE dO Bo, ~ Bi~ 


DU IPB Besa /B 1. 1 do 205 poo, DEDA Boo. He 
d,=0( (log) 7°) =O(GogB,) 及 上 面 证 明 的 H,=O(d4) ,有 
H, = OC(logB,) *), 

而 3/2>1. 这 样 , 引 理 6. 2 的 条 件 全 部 满足 有 
.sup l; 
lim, f (Q,/(2B,?loglogB2)*) = as. (6.17) 


Fen 


因为 A~ mn RSS" ETRE OCR), HERG. DUR B= 


BSS ŽST eD HAE. 15). 引 理 证 毕 .， 1 
引 理 6.4 在 定理 6. 1 的 条 件 上 有 ， 
d,logtogy, = 0(1), (6. 18) 
loglogy, = OClogn). (6.19) 
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为 证明, 注意 ,因为 也 zl 一 ,有 .之 pfn. 将 此 与 A 


的 后 一 式 结合 ,可 知 存在 a>0, 使 (logp.) <an, 由 此 即 得 (6.19). 
另 -一 方面 , 按 A 的 前 一 式 ,有 4d. 二 ol1/logn). 将 此 与 (6.19) 结 合 ， 
得 (6. 18), 引 理 证 毕 ， 1 

以 下 为 表述 简单 计 ,我 们 用 c 记 一 个 正常 数 , 其 值 每 次 出 现时 
都 可 以 不 同 ,换言之 ,c 只 是 常数 的 符号 而 不 代表 数值 . 

任 取 1, 00.48 tdý Clogn)”* (loglogy, 0, 4 的 存在 由 条 
件 As 保证 .定义 R* 中 的 立方 体 为 : 

D = D” 一 8:18| < (tloglogp.)*}, 

其 中 18 | 表示 8 诸 分 量 绝 对 值 最 大 者 , AA <n, M4 ”充分 大 
时 ,DD 的 边 长 不 超过 .将 DD BGAN 个 两 两 无 公共 点 的 相等 的 
LF D Ds, 并 取 NN 使 DD HK nona MWA N= 
On) G 


E, = t,dý (logn)* (loglogm,)“ » (6. 20) 
2,8 
7B) = 106) = [Ce +) — He) — Gud du 


Qin). 
引 理 6.5 在 定理 6. 1 的 条 件 下 ,对 任意 7 SN, 可 以 
与 N 有 关 ), 当 充分 大 (与 上 述 范 围 内 的 1 无 关 ) 时 ,有 


P(sup Zem- ran] Bets) Ka 62D 
这 里 {c,) 为 与 上 述 范围 内 的 ! 无 关 的 正 数 列 , 且 当 nook} ce 


为 了 证 明 , 用 D ir D 的 闭 包 . 对 每 个 i Sin), PARE 
YA YRF Ds E 
ED 
考虑 三 种 情况 ， 
I (zan)(znya)<0: 这 时 必 存 在 yoE 瓦 ,使 rsyo 一 0. 由 时 
非 降 , 易 知 


86.2 eR RM MRE + 157+ 


| [lore + = Peedu 


2 CEA 
SEJI EEH edu (6.22) 


= 


2D 一 zo7s 信 0: 取 7。 一 74, 仍 得 (6. 22). 
B 一 zw7, 20: HK Yo =F CG. 22). 
综合 1"~3", 可知 总 存在 7。ED,, 满 足 
(一 tuo Zn) SO GE), (6. 23) 
使 (6. 22) 成 立 . 
EF || ce ll Wd, ,根据 tdloglogm 一 0( 由 思 的 取 法 及 A 
推出 ), 有 
suptjzw81:1 <i <n,8E D} — 0, n— oo (6.24) 
BOK n RAAH |a, B FES). 根据 假定 As RGO) =0, 
IIG) |e, luf lul PEA. 故 


> <<>)| [Oe tuldu 
= nto 


11 


考察 上 式 右 端的 积分 ,由 (6. 23》, 可 知 
?| J ne uldu 


m0 


» (6,25) 


[E Gw ldu 


= [En ~ nT) | 


Saw HEOR ,+ 7 
Lc |] ze ln ,logloge.)*. (6. 26) 
最 后 的 不 等 式 是 因为 ,与 AAAF OCD, UR D 的 边 长 


~n ERE, >) | zu || "=p oe HE Xd, 1 /m 以 及 loglogp 一 


eee 
Odogn) 和 (6.26) 式 , 即 得 > 》) | JES Gw du] = ot. 


TET 


AF 为 和 ol eet D WEER PEHE ye 和 分别 换 成 D, 
内 任意 的 a 和 8, 则 上 式 仍 成 立 , 且 对 D; 内 的 “和 有 一 致 成 立 . 利 
用 这 个 事实 ,结合 (6. 22), 即 知 当 n 充分 大 时 ,有 
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P( sup | De) —7,(a)) 


>e) 


< Prem -rD 6.2 
A | 


下 面 的 工作 是 估计 上 式 右 边 的 值 . 为 此 ,利用 Bennett 不 等 式 ( 引 
理 3.3), BIC E =r Mj) r On) ik GOOR ELR EV (e,)=0, 
知 EE =0. 为 估计 Var (é) =E, H Schwartz 不 等 式 , 得 


E< | fral- 


[T re +0 — Ped ~ Ganr'du 


由 此 得 
EES || aul] + 1%, — Xl 
x 


[EY Bore, + u) — Ye) Yau 


一 ze 


往 下 证 明 : 对 充分 小 的 4,>0, 存 在 只 依赖 于 4 AM Le BEM lal 
Sh 1b] Shad A 


| [Leone + w = Fedu 


<1 if juldu 


事实 上 ,车 a.5 同 号 , 则 由 畔 的 非 降 性 ,可 知 轩 (ei 十 w) 一 严 (eD) 在 
属于 上 述 积分 区 间 内 也 同 号 . 又 根据 条 件 A, RV 的 非 降 性 ,有 
= sup sup [VE + a) — YH| < o. 


Welt telco 


于 是 得 到 
| J Ee + w — Pendu 


<4| [Ore +0) — Fedu 


再 用 条 件 As, 因 为 4 充分 小 ,存在 如 >0, 使 
JEP le; + u) — Ve) K Glu) lul <A mb. 
于 是 得 到 


$62 p 为 由 函数 时 的 线性 表示 7159+ 


f * Juldu 
BL MG OEM. 如 果 a 与。 异 号 ,为 确定 计 , 不 妨 设 
a<0<5, 将 | 表 成 两 个 积分 和 | 十 】 ,并 对 每 个 积分 应 用 上 述 已 
证 得 的 结果 ,也 得 所 欲 证 者 

再 回 到 前 面 的 证 明 , 由 于 zsye| 和 | zy| 当 ， 充 分 大 时 一 致 
地 充分 小 用 上 面 证 明 的 事实 , 即 得 


EBS c Hh aul] %y—%oll- | [O acl 


<h 5 


| J Eee, +0 — eddu 


<eVd.n-*(e,loglogyz,)”” || xu |. 
最 后 一 个 不 等 式 是 根据 (6. 26), 因此 
See <cVd,n-*(t,loglogy,)'?. (6. 28) 
ERR nO 的 定义 ，| zw 加 | 完 分 小 , Gu) 在 |u| 充分 小 时 有 
RARR A A 
16.) S elan Yy —Nod| Kedun (6. 29) 
由 《6, 28) 和 (6, 29) ,利用 Bennett 不 等 式 ,得 


PLS) 一 “Oo) > 4/3) 
a 


n(e,?/3n)? 


es 
2(c Vdan-*(tyloglogs,)"* +e dn tek/3n) 


= 2exp(— A,). 
按 s 的 定义 ,容易 验证 A,/logn > 00. 因此 ,存在 c. 一 ,使 
2exp(— A,) < exp(— c,logn). 
据 此 及 (6. 27). 即 得 (6. 21). 和 且 从 以 上 的 论证 可 看 出 (c) 与 /的 取 
法 无 关 . 引 理 6. 5 证 毕 ， 1 
定义 
FCB) = ple; 一 TaB) — ple.) 十 Tu Bole) — 2-1g(0)(2,.8)*. 
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引 理 6.6 在 定理 6. 1 的 条 件 下 有 * 
R. =sup] SEMERO) |ia € D,pe D, l a8 | <e ka 
E 
= o(È), as. (6. 30) 


AT EA, ER 0,8 € D, la — P| S 2e,. WE =r (0 一 
r.a), H EE = 0. 按 上 一 引 理 中 的 论证 , 有 


GeV, le— Bl 
Seva al + RI 
<e V7, (,loglogy,)””, (6. 31) 
Var) Levde S ludu e (6.32) 


当 za 和 zB 同 号 时 ,这 个 积分 值 的 估计 在 上 一 引 理 的 论证 中 已 
作 过 , 见 (6. 26). 但 (6.26) 最 后 一 式 中 的 n7!' 应 改 为 6. 若 zwa 和 
zu8 异 号 , 则 


a 
af ~ uldu 


= (apa)? + Cee’ BY? 


X lent — Taf) 

S2 ll zx ll? > am BH’ 

S2 tulte la—Bl dall + 181D 
Sc || zu EC loglogz)'?. 


结合 以 上 这 两 种 情况 ,由 (6. 32) 得 
Svarcé,) Sev d,s, (tloglogt) (6. 33) 
由 《6. 31) 和 (8 33), 记 用 Bennett 不 等 式 ,得 知 对 任 给 的 e>0, H 
rZ o- me)| > e/3) 


S 2exp(— cet/ y d, (,toglogs,)'?) 


$6.2 p Heh pL MER 161+ 


< 2exp(— c#i"logn) <n . (6. 34) 
这 里 {c.} 为 一 串 趋 于 co 的 常数 ,只 与 有 关 , 而 与 08 无 关 ( 只 要 
aP MF DA 1a 一 8B| < 2e). 
现 有 


L= Ps |D O -na |;a € DBE D, e-e 
a 


<e) >et) 
, 


< DP (sup 


al 


Dee- n| > eet/3) 

x i 

+ DP(sup] Dep) 一 «| > 5/3) 
二 一 2 


+ Dr Pe = rB) | > eet/3) 
= Ya + Je (6. 35) 
此 处 B, 为 立方 体 D, 的 中 心 ASIS N), 而 >)” 表示 求 和 的 范 
BA: 
l1&j&N, IKEN, |B,— Al S28. 
这 里 我 们 利用 了 这 样 的 事实 : D, 的 边 长 ~a = ole). 注意 到 
N = 0G), RAS >)” 下 的 项 数 不 超过 N = OG"). 利用 
(6. 21) 和 (6. 34) ,得 
Sy KS nne + nine n 充分 大 . 
由 于 此 ,有 
D< o, 
根据 Borel-Cantelli 引 理 及 e 的 任意 性 ,得 
K.= sup] | Sos -ralia € DPE D, Ja- Bl <e 


= 0(&), as. (6. 36) 
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因为 ED = rP 十 [Ge ~ gudu, 
有 RK. + $| Gao ~ godu |= K, + W, 
H [I-a 
(6.37) 


往 下 证 W, = 0(62) :事实 上 ,由 条 件 As, 并 注意 到 (6. 24) ,有 
Gu) ~ gu = fe w) — pdv = Oul), 
故 


= cV. (6. 38) 


[ew — guldu 
当 一 zu& 与 一 zu8 同 号 时 ,有 
V Sejla” 一 rua]; 
4 一 ze 与 一 8 异 号 时 ,有 
V <c|ren(B — a) |. 
不 论 在 何 种 情况 , 易 见 都 有 
V Ke || za ll Pall CBM Ale | ee CI a +l BD 
<L ce, || zo |? CG loglogtn) “dý (tloglogps )*. 
由 此 及 (6. 38)》, 知 为 证 W, = of ,只 须 证 
dV" (tJoglogx,)** = ole). 
由 6 的 定义 ,t， 一 oo ,并 注意 到 (6.19), 知 上 式 必然 成 立 , 从 而 证 
明了 W, = ole) ,由 此 及 (6. 36), (6. 37), 即 得 (6. 30). 引 理 证 
毕 ， 1 
定理 6. 1 的 证 明 ; > 
ra= Sox, AKi<n), 
B= SiR, 
而 将 模型 (1. 1) 改 写 为 
Y, = ruh te A<i<a), 
以 及 记忆 的 (使 用 函数 6 产生 的 )M 佑 计 , 则 有 
B= SYR. 


| [roe 
< | ul du 


Hs 


Nanum Whe 


bu 
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不 失 普遍 件 , 设 员 =0, 8B. = 0, Y =e. 


令 


= {BBE Ne 18| & (tloglogm) — 1}, 
errs A, = (8, E D*}, 及 由 (6.18) 定 义 .因为 6 一 0, 故 当 n 
充分 大 时 ,由 a&€ D*， el =e, WARED. ALC) A, 
的 指示 函数 ， 
注意 到 (8) 的 定义 ,由 简单 计算 证 明 


PA — 7B.) 


= Dy PC, — En) — ple; — ZuBn)} — 2g || e — R. |? 
根据 引 理 6. 6, 由 上 式 得 
sp 人 (0 Siow. — auh) — ple, — zB.)} 


:8 一 六 | = 


= 0(s2), a, S. (6. 39) 
而 按 引 理 6.4, 有 
LPB) =” 1，a.s,， 
因此 按 (6. 39) 可 知 以 概率 1 成 立 ; 当 充分 大 时 ， 


inf Syote, ~ 246): | 8 ~ Ball =e} > Pole ~ 8). 


由 于 2 的 凸 性 , 按 定理 1.3 的 3° EME Bll 之 6， 
这 就 证 明了 
B. ~ B. = OG), a.s.. (6. 40) 
这 对 任何 满足 前 而 所 规定 的 条 件 的 序列 {z,) 都 能 成 立 , 因而 有 
B. — P, = O(a! dogn)'? doglogy,)'"), a. s.. 
不 难看 出 ,这 正 是 (6. 2) 加 (6. 11). 定理 6. 1 证 毕 ， 1 
例 6.4 将 定理 6. 1 用 于 Bahadur 所 讨论 的 位 置 参数 模型 
Y= & + eis (6,41) 
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Fi p(w) = |u| 8. f M thit EI LADE 为 如 =med(Y,,…,Y,). 假 
定 e 为 iid., 有 中 位 数 0，e 在 0 点 邻 域内 有 连续 密度 大 , £00) >0 
且 
ISu) — fO) = Ou) Chno), 

则 据 定理 6. 1 ,我 们 得 到 Bahadur 的 结果 (6. 8) 十 (6. 9). 

定理 6. 1 所 给 出 的 剩余 项 R, 的 阶 (6. 11) 的 精度 如 何 ? 有 无 改 
善 的 可 能 ?对 这 个 问题 ,本 例 提 供 了 一 些 线索 . 因为 Kiefer 于 1967 
年 在 文献 [40] 中 证 明了 ,对 于 本 例 ,表达 式 (6. 8) 中 的 R, 的 阶 可 改 
BA: 

R, = O(n" '*Coglogn)**), a. s., (6. 42) 

并 且 这 不 能 再 进一步 改善 了 ,以 此 与 (6. 11) 比 较 ,我们 可 看 出 以 下 
两 点 : 

D (6. 11) 式 中 4 的 指数 1/4, 从 总 体 上 说 ,已 不 能 再 升 高 
了 ,甚至 要 改进 为 O(ai') 也 不 行 .因为 不 然 的 话 ,就 与 Kiefer 的 
结果 相 矛 后 . 

2) Uoga)!” oglog.,)!* 部 分 可 否 改善 ? 不 能 否定 其 可 能 性 ， 
改善 的 方向 (如 果 有 可 能 ,明显 的 候选 者 是 

Coglogn)(oglogy,)* 或 者 Cloglogy,)*. 

还 应 当 指出 ,这 里 说 “< 的 指数 1/4 不 能 改善 ,是 指 “ 从 总 
体 上 ”, 即 指 对 一 切 满足 定理 6. 1 条 件 的 模型 同时 成 立 , 而 不 是 指 
对 每 一 个 具体 的 、 满 足 定理 6. 1 的 条 件 的 模型 都 不 能 改善 . 我 们 不 
加 证 明 地 给 出 一 个 例子 如 下 : 

例 6.5 考虑 线性 模型 (1.1), 其 中 p= 二 1, 而 

n=] (Hi#k kD; 
a, =V i /(logi} 
C4 i> 2i = kt MEP RS 2). 

而 六 一 1. Kee) = |u|, 可 以 证 明 ,在 一 定 条 件 下 (参看 例 6. 4), 
有 


R, = O((logn)~* oglogn)'*), a.s. 
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而 对 本 例 有 4d, ~ Cogn) , 当 n 一 1, m ~n 上 式 可 写 为 
R, = O(d!’i(loglogp.)'’*) 

而 (6, 11) 中 的 dl 改善 为 4 ,从 本 例 也 看 到 :之 所 以 会 出 现 这 种 
情况 ,根子 在 于 极 个 别 的 x; 可 对 d. 起 很 大 的 影响 ,但 不 见得 一 定 
对 所 有 很 大 的 影响 . 

另外 ,我 们 在 上 面 曾 提 到 (6. 11) 中 的 logn 部 分 改善 为 
logiogn BÈ loglogy, 的 可 能 性 ,但 细 察 定理 6. 1 的 证 明 , 不 难 悟 出 ， 
这 种 可 能 性 即使 存在 ,也 非 目 前 所 用 的 证 法 力所能及 . 这 个 证 法 基 
F Bennett 不 等 式 以 导致 估计 (6. 34), 因 而 不 能 回避 在 6 的 定义 
PRA Vloga 这 个 因子 . 考虑 到 Bennett 不 等 式 给 出 的 指数 界 已 
无 可 改进 ,必须 另辟蹊径 ,例如 从 建立 形 如 Dube BERERA 


AF. 
三 、 à~ a AY RE Lip et 
定理 6.2 BE: 
D 保持 A~ As A Anos 
D 删 去 A;, 代 之 以 少 满足 Lip CL) GR TARE AD; 
3) As PH OC el‘) DUA OG): 
4) 保持 As 的 后 一 条 件 ,而 将 前 一 条 改 为 


d, = o( (logan » loglogu, X +). (6. 43) 
则 (6. 2) 式 中 的 剩余 项 R. 满足 
R, = ((d,logn + loglog/,)'’), a. S. (6. 44) 
注意 ,在 此 由 于 P = 乡 处 处 存在 , 故 (6. DRP A B EY Ce) 
就 等 于 g = C0). 


本 定理 的 证 明 ,从 方法 到 细节 都 与 定理 6. 1 完全 相似 ,差别 
只 在 子 两 点 :一 是 关于 |El Var) 的 估计 G 的 定义 与 引 理 
6. 6 中 的 相同 ), 此 处 因 乡 满足 Lip(1》, 从 面 知 
oe +u) — gle) 一 Glw)1 志 clu|, 当 |u| 充分 小 . 
故 按 前 面 的 论证 ,有 
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一 ze 
él< if cluldu | <cd,€,(tyloglogy,)"” 


以 及 
一 = ae 
Var(é,) <e | rdu]. js ‘du |< ditt ll zy stloglogp.. 
(6.45) 
把 定理 6. 1E e 修改 为 
£, = (d logn + loglogy,)"”, (6. 46) 


则 前 面 的 一 切 推理 就 通行 无 阻 了 , 而 最 后 得 出 的 R, 的 阶 就 是 
(6. 46) 定 义 的 6 BM 2, 这 个 因子 一 一 即 (6, 43) 式 . 

另 一 点 的 差别 在 于 (6. 37) 式 中 W, = o) HEHE Ce, 由 
(6. 46) 定 义 ). 这 要 用 到 |G (x) 一 g| =O) Chu 0) ,得 到 当 
一 za 与 一 zu8 同 号 时 ,有 
[ceo = gudu 


Ke 


[She 


el |uBl* = lanal" | Keden ll zs lloglogp.. 
当 - ait o up HRY MATH 
clzs(B— a) SeV ade, dz Ciel + V8? 
Se dre tw || *elogloge,. 

二 者 相同 ,不 难看 出 ,由 这 一 估计 并 利用 (6. 19), 即 得 
W, = olei). 正 是 这 一 步 需要 把 As 中 的 Ou |) 加 强 为 Olx) 。 

将 (6. 44) 和 (6. 11) 相 比 , (6. 44) 多 出 了 一 个 因子 
(dsloglogp)'* ,其 原因 正 是 在 于 此 处 Var(&) 的 估计 (6. 45) 比 以 
前 的 估计 多 出 了 一 个 因子 (dloglogm) 7 ,这 一 点 通过 Bennett 
不 等 式 的 使 用 ,影响 了 e 的 选 定 . 

适合 本 定理 的 一 个 例子 是 例 6. 2 的 Huber 函数 < = a 的 情况 


Ce 的 公共 分 布 满足 那里 的 条 件 , 且 
IFD — fO) = Oul 
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要 加 强 为 SGO 一 SO] =O@). 与 (6.11) 相 比 ,(6.43) 总 算 有 
了 显著 的 改善 ,但 仍 未 能 摆脱 掉 ogn 这 个 因子 . 关键 在 于 ,此 处 
虽然 假定 了 w 处 处 存在 ,但 仍 容许 2" 在 某 些 点 不 存在 ,Huber K 
数 =a) 就 是 如 此 . 在 下 一 节 中 可 看 到 : 若 进 一 步 假 定 ”处 处 存 
在 并 满足 一 定 的 限制 , 辅 之 以 其 他 的 条 件 , 则 Vog 这 个 因 于 确 
实 可 以 排除 . 这 恺 怕 已 达到 所 能 做 到 的 极限 了 . 

四 、 一 般 情况 ( (4. ~ x.) 不 必 成 立 》 

定理 6.3 BE: 

D 保持 Ar~ As. AnA A As As 和 Ai 

2) 以 下 两 条 件 之 一 成 立 (此 条 件 包含 As : 

D ERER Mu) = Elexpuple,)) 在 0 附近 存在 ， 

d, = a((logn)™*); 
国 FE SE (0,11, Elge PHE oo, 


d, = O(a*). 
则 (6. 2) 式 (其 中 的 疡 代 之 以 8 = G (0) ) 中 的 剩余 项 R, 满足 
R, = O(di* (logn)**), a. s. (6. 47) 


注意 ,由 于 (6, 19) 和 (6. 11) 式 中 的 阶 总 不 能 于 上 式 中 的 阶 , 这 
TERE CRE AL ~ p 所 带 来 的 收益 . 

本 定理 引 自 文献 [57]。 只 是 此 处 在 条 件 2) 名 的 情况 下 ， 
ER d, H ooga) ,而 在 文献 L[57] 中 只 要 求 刀 达到 
O(C(logz) =). 其 所 以 作 这 一 改动 ,是 因为 根据 (6. 47), 只 有 当 de 
A o(Clogn)~*) 时 ,剩余 项 R. 才能 达到 (1) HB. 

本 定理 在 证 法 上 与 定理 6. 1 相似 ,细节 上 有 一 差别 ,由 于 免除 
了 条 件 Ai , 引 理 6. 3 已 不 能 用 了 ,而 需 代 之 以 下 面 的 引 理 ， 

引 理 6.7 在 定理 6. 3 的 条 件 下 有 

B. = OClogn)"), a.s., (6. 48) 
Ht B, (6. i RATE M. 

先 考虑 情况 DO: YE A M(x) 在 0 的 邻 域内 存在 , 故 
它 必 在 此 范围 内 有 任意 阶 导数 ,并 且 可 在 期 望 号 下 求 导 ,由 此 ,再 
注意 Eple) = 0, 即 知 M'(0) = 0. HF d, = o( Cogn) , 知 
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ddogn > 0. UL Em, iE Zu 的 第 j 个 分 量 ,对 MC) 使 用 带 余 项 的 
Taylor 公式 可 知 当 n 充分 大 时 ,有 
M (au, VIogn) = 1 + 2M (On) zilogn 
<1 十 clognz < exp(clogn + 2%,). 
此 处 c > 0 为 一 常数 . 取 5 二 c 十 2 ,应 用 Markov 公式 ,有 


P($ enpe) >b Vlog) = P(S, Vokite) > blogn) 
7 a 


<exp(— bloga) | [MC Vlognzs,) 


exp(— (b — ce)logn) =n ?. 
ERPAAT 


由 此 ,用 Borel-Cantelli 9188, EPER 1 4 n 充分 大 时 有 
Erupe) < b viogn. 
类 似 地 可 证 明 以 概率 1 当 ， 充分 大 时 ,也 有 
Saupe) >— 6V Toga. 


这 一 结果 对 六 ,zy(e) AE AR mL. 从 而 证 明了 (6. 48). 
情况 2)@@ 可 借助 引 理 3. 工 证 明之 . 也 可 以 这 样 证 :引用 [63] 中 的 
一 个 结果 : 设 常数 阵列 lanl Sinn > 1) 满足 
Sa = o(i/logn), 
且 存 在 常数 c 及 a O<a<l) ,使 
max an| < on™. 
又 设 随机 变量 £ê A id, HE = 0, E/E, |? <oo. Ml 
Space >O, as. 


证 明 见 文献 [63]. 在 (6. 49) 式 中 取 


Fr te 
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an = Tw (logn +c.) Ain), 
其 中 c, 是 任 一 串 趋 于 的 常数 , 取 = $e) , 按 2)@ 的 假定 , 易 
验证 此 处 的 条 件 全 成 立 , 因 而 有 


Jian pe Viogne,) > 0, a. s.. 
因此 式 对 任何 c, + co BRI. BA 
Sane) = OC Vlogn). 


引 理 证 毕 . 1 

有 了 这 个 引 理 ,定理 6. 1 的 证 明 就 可 以 全 部 移植 于 此 处 来 证 
明定 理 6. 3. 唯一 要 变更 的 是 :在 该 证 明 中 凡 提 到 loglogm 之 处 ， 
都 要 用 logn 取代 . 例如 & 的 定义 修改 为 

e, 一 td /logn dogn)" = td} logn)”, 

等 等 . 最 后 结果 (6. 11) 中 的 logloge, 也 以 logn 取代 ,从 而 得 到 
(6. 47). 定理 证 毕 . 1 

OWE Lip(1) 时 ,也 有 与 定理 6. 2 相应 的 结果 , 见 以 下 定 
理 : 

定理 6.4 保持 定理 6. 3 的 假定 条 件 2)《 但 情况 中 中 的 d, = 

ol (logn) > 可 减弱 为 d, = (dogn) ,而 将 其 假定 条 件 DE 
改 为 :保持 A ~A E As AnA Mi As HH IG (ue) — gl = 
OC\u|*) 加 强 为 |G (w) 一 g| = Ou). BHA 代 之 以 y 满 足 
Lip(1). U6. 2) 式 中 的 剩余 项 R, 满足 
R, = O(dilogn) , a. S. (6. 49) 

证 明 也 是 基于 引 理 6. 7, 其 余 与 定理 6. 1 无 异 . 又 ,此 处 因 
处 处 存在 , 故 (6.2) 中 的 与 g = G (0) 是 一 致 的 . 

五 、 弱 表示 

定理 6.5 在 定理 6. 1 的 条 件 A ~A, 和 AnA 之 下 ,只 要 
d, >= 0 ,就 有 


R, = O,(di“(logd,")"”). 
又 若 将 条 件 As 中 的 数量 级 O(|z12) WRH OWO , 则 有 
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R, = O, (d3 logds*)"*). 

证 证 明 的 方法 与 定理 6. 1 相似 ,在 细节 上 有 几 处 不 同 之 点 . 
这 些 不 同 点 是 导致 本 定理 中 R 的 数量 级 与 以 前 诸 定 理 有 所 差异 
的 原因 所 在 : 

1) (6.15) 和 (6. 48) 由 

P, = 0,(1) (6. 50) 
所 代替 , 此 式 的 成 立 是 因为 
E| B, I = g pr < o, 
AS n 无关 . 这 样 就 免除 了 条 件 Ac As An REM 6. 3 中 的 条 件 
2). 它们 的 引入 是 为 了 证 明 (6. 15) 或 (8. 48). 
2) 由 于 这 一 变化 ,立方 体 = DO 的 定义 相应 地 修改 为 
D = {8;|8| <t8}, tn > 005 

e, 的 定义 修改 为 

E = tds (logds')*, 
与 & 原 来 的 定义 (6. 20) 相 比 ,去 掉 了 (logn)*(logiogp,)*, 而 增加 
T (logds')* 这 个 因子 . 去 掉 dogloga) 是 因为 (6. 50) 代 替 了 
(6. 15), 这 是 不 难 理解 的 . 至 于 Cogn)” Ai (logaz 95 的 一 删 一 增 ， 
原因 在 于 ;在 弱 表 示 的 情况 我 们 只 须 证 明 (6. 21) 式 左 端 及 (6. 34) 
RAMU F 0, 而 不 需要 它 是 收敛 级 数 的 一 般 项 (这 一 点 与 下 面 
的 第 3 条 结合 起 来 看 ). 

3) 将 隔 剖 分 为 一 些 相等 的 立方 体 D,,… Dy BT, D; 的 边 长 取 
Ry ~ di? RN = Oad). 6 中 所 以 要 置 入 因子 
(logdz!)'% ,就 是 为 了 抵消 这 个 因 于 而 作 的 ,由 于 d, 之 p/n ,总 有 
logd = O(logn) . 

与 强 表示 的 情况 相似 ,这 里 所 得 到 的 弱 表 示 的 阶 中 包含 了 一 
个 对 数 因子 , 按 以 上 的 证 法 ,这 个 因子 无 法 免除 ,然而 ,采用 更 复杂 
一 点 的 证 法 (同时 对 条 件 加 以 适当 的 修补 ,的 确 可 消除 这 个 因子 ， 
从 而 大 大 改善 上 述 结果 . 这 个 成 果 包 含 在 Bai, Rao 和 Zhao 的 工 
作 一 一 文献 [15] 中 ,该 文 讨论 的 是 更 一 般 的 多 重 多 元 线性 回归 模 


ee 


tm 
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型 . 以 下 只 介绍 其 用 于 模型 (1. 1) 的 情况 , 因 篇 幅 所 限 , 只 引述 其 结 
论 ,而 略 去 其 证 明 . 

定理 6.6 沿用 前 而 的 记号 ,假定 ; 

Vo 条 件 Ai 一 As 和 A; 成 立 ; 

2° 存在 人 GE 0,1], g 这 0, 使 当 x -0 时 ,有 

Ge) = gu + Olut); 

3° EC(gle + u) 一 ge) Y = Ou |”); 

ts 

则 有 


R, = 0,(a¥/*). 

更 进一步 ,如 果 把 1" 中 的 “A; 成 立 ” 加 强 为 :存在 常数 a > 0, 
A>OMM<oo, E 

lgu + v) — Pad} SM[v|*, 4 |v] CA, jul <% if, 
并 把 IRA ELE A > 0,M < co ,使 当 

ju] <4, lul SA 
时 ,有 
Elgles + uy) — ple, + u) |? << Mu, — u|”. 
从 而 有 
R, = 0,¢d¥*), 

本 定理 的 条 件 与 定理 6. 5 的 条 件 相 比较 下 有 出 入 :As 覆 强 于 
LCH A= 1/2 和 A 一 1 时 ), 而 此 处 增加 了 条 件 3( 文 献 [15J 中 有 
一 个 条 件 在 此 处 没有 列 入 . 此 条 件 要 求 : 记 2 不 可 微 的 点 所 构成 的 
A DU FWD) = 0. F He 的 公共 分 布 .对 此 处 我 们 所 讨论 的 
一 重 线性 回归 , 即 模型 (1。 1) 而 言 ,此 条 件 易 由 ZR 3 推出 ). 另 
外 ,本 定理 容许 2 取 C0,1J] 中 的 任意 值 ,而 定理 6. 5 只 相当 于 本 定 
理 的 4 一 1/2 FX = 1 的 情况 . 

定理 6. 5 中 R, 的 阶 的 主要 部 分 dy 或 中” 一 般 不 能 再 改善 ， 
这 在 强 表示 的 情况 已 有 例证 ,但 强 表示 的 结果 不 能 自动 移植 于 此 
处 ,因为 一 事 随机 变量 的 强 阶 与 弱 阶 可 以 不 一 致 . 指数 1/4 或 1/2 
不 能 被 一 般 地 改善 ,需要 通过 具体 例子 来 证 实 . 对 1/2 的 情况 的 例 
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FUL 86.3 中 定理 6.7 证 明 的 尾 段 (在 该 处 的 例子 中 2 HIER 
数 ,但 沿用 该 例 的 想法 ,不 难 造 出 6 为 凸 函数 的 例子 ;对 1/4 的 情 
况 的 例子 ,可 以 举 Bahadur 讨论 的 用 样本 中 位 数 估计 总 体 中 位 数 
(参看 Kiefer HIEU) ,下 面 就 讨论 这 个 例子 . 
回 到 例 6.4, 不 失 普 廊 性 , 设 8 = 0，*, 为 iid, 并 且 有 公共 分 布 
R( 一 1,1). 因 为 
B, = med (Y1, 1t, Y,) = med (e, st pen) o 


记 
& = 5 = Vn ĝas 
有 
2 wo,1/), Wyn co, 
x 


B= > sgnte)y vn. 


以 下 为 避免 一 些 无谓 的 枝 节 , 设 为 奇数 ,而 NN = (x 一 1/2. 

现在 要 利用 次 序 统计 量 条 件 分 布 的 一 个 结果 (参看 文献 [3] 中 
H p.130: XS SX, AM MES AT F Hhhh iid. 样本 的 
ESTE Ro WHE MB: 

F(x) = min(F(2)/F(a) +1) 

F(a) = max Fafa 
WEBE Xn =a 的 条 件 下 ，(X,,…,X。,) 的 条 件 分 布 等 于 从 分 
布 中 抽出 的 样本 量 为 m 一 1 的 iid. 样本 的 次 序 统计 量 的 分 布 . 
Karot X) 的 条 件 分 布 与 此 类 似 , 只 须 把 上 文 的 所 改 为 Fa 
(Bid PR REAR. 这 一 点 此 处 不 需 用 到 ). 

将 这 一 结果 用 于 此 处 , 记 


m= Ssgnce)/ Jn —&,, 


10) > 


f= Vn Ên 
并 以 BON, p) 记 一 随机 变量 ,其 分 布 为 
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N 
PBN, p) =i) = | : jza — py! 一 0 1 mV). 
i 


暂 设 a 之 0, ERE E = a 的 条 件 下 ， Dysance) 的 条 件 分 布 与 


a/Van 


2BIN, 
( 1+a/vVn 


) 相同 . 故 在 给 定名 一 “的 条 件 下 , nx 的 条 件 
分 布 与 
nak al dn z 
6, nk(2B(N, : elt Cm a) 
WE. 使 用 中 心 极限 定理 ,或 直接 计算 9. 的 特征 函数 , 易 见 
0, <> N(0,2a). 
Ha<0, 只 须 将 NN(0,2a) 中 的 a 改 为 一“ 即 可 . 
出 于 
26, + NCO), 
从 上 面 的 讨论 可 知 , 当 > oo 时 , niy 有 极限 分 布 , 它 就 是 
jZ112; 的 分 布 ,其 中 Z 和 Za 独立 并 且 各 有 分 布 NC0,1) . 此 分 布 
的 密度 函数 容易 计算 得 到 
hlu) = aa wiexp(— az/2o2: 一 zi/2)dn (— œ < u < o), 
这 证 明了 在 本 例 中 , mIRE Oo, Cn) = ody). 
总 结 以 上 ,可 知 对 定理 6. 6 A= 1/2 A= 1 这 两 种 情况 所 
得 到 的 阶 是 确切 的 ,一般 地 不 能 再 有 任何 改进 . 当然 ,对 一 个 特定 
的 模型 不 必 如 此 ,这 在 例 6. 5 中 已 见 到 了 . 


§ 6.3 e TUH BERI 
当 p 不 为 西 函 数 时 ,定理 1, 3 的 3' 不 成 立 , 这 使 得 问题 的 切 难 


程度 大 大 增加 . 为 在 p 为 非 凸 的 情况 下 得 到 M 估计 的 线性 表示 所 
需 的 条 件 要 加 强 , 这 包括 了 对 2 的 光滑 性 更 高 的 要 求 、{z) 的 有 
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界 性 及 限制 参数 空间 为 有 界 等 等 . 本 节 的 目的 就 是 在 这 种 加 强 了 
的 条 件 下 ,去 探讨 M 估计 的 线性 表示 的 问题 . 

一 、 定 理 的 表述 

一 切 沿用 $ 6. 2 的 记号 . 有 一 点 不 同 之 处 是 ,在 此 处 我 们 假定 
未 知 参 数 b HER 的 一 个 有 界 闭 区 域 8 内 . 与 此 相应 , PB。 的 MM 
估计 也 就 定义 为 使 


Sew, — dhd = int{ Dpr, = EBBE B) (6.51) 
气 = 


成 立 的 一 个 解 . 假定 : 
I? eset X iid.; 
2 pR, P= o RE ER FE, y 满足 Lip(1), 且 有 
界 ; 
3° Elele) |* < co IHE A> 0 ,又 
P = Ef (e) > 0, g = Eg le) > 0; 
4° 定义 
h(t) = Eple, +t), — œ <t < 2, 
T 0 È AG) 的 唯一 最 小 值 点 : 
5”{z,) 有 界 , 且 存在 9 之 0 ,使 
d, = OM"), 
定理 6.7 设 8 为 R* 中 的 有 界 闭 域 ,参数 真 值 是 8 的 一 个 
内 点 , Bo 的 用 估计 PB 由 (6.51) 定 义 , 则 在 条 件 1°~5° 成 立时 ， 
《6. 2) 中 的 剩余 项 R, 满足 


R, = O(d¥logn), a.s., (6. 52) 
R, = O,(d8). (6. 53) 
其 中 4 的 定义 如 § 6. 2 开始 处 所 示 . 在 此 ,(6. 53) 中 的 数量 级 一 般 


已 无 可 改进 . 
又 车 入 ~ (“~” 的 意义 也 见 § 6.2 开始 处 ), 则 (6. 52) 可 改 
进 为 
R, = Oldi”loglogn), a. s.. (6.54) 
将 本 定理 的 结论 与 $ 6.2 中 的 结果 比较 ,可 以 看 出 : 
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D 在 不 假定 为 ~ py 时 ,《6. 52) 与 定理 6. 4( 其 中 假定 少 满 足 
Lip(1)) 的 结论 一 样 . 
(2) ERE A ~ 时 ,(6,54) 达 到 的 数量 级 优 丁 在 § 6, 2 中 
的 结果 ,包括 在 假定 满足 Lip(1) 及 为 ~ p 时 的 结果 ,这 一 改善 
是 由 于 对 2 假定 了 更 严 的 光滑 性 . 
(3) 弱 表 示 (6, 53) 已 达到 最 优 ,这 也 是 8 6. 2 中 的 结果 所 不 
可 比拟 的 . 比较 此 处 的 条 件 与 8 6. 2 的 条 件 , 除 此 处 o 不 必 为 凸 函 
数 以 外 ,其 余 条 件 都 比 & 6.2 强 . 从 应 用 的 角度 分 析 , 诸 如 {z;} 和 
BARR pe) 的 各 阶 矩 存在 等 等 ,不 算 严 重 的 限制 , 要 害 之 处 在 
于 此 处 要 求 和 2" 处 处 存在 (在 8$ 6.2 中 , p' 可 以 在 个 别 点 不 存 
在 ), 这 排除 了 一 些 在 应 用 上 有 兴趣 的 p . 因此 ,如 何在 不 假定 2 为 
西 函数 并 且 P 不 必 处 处 存在 时 去 研究 义 的 线性 表示 ,是 一 项 有 待 
解决 的 重要 问题 . 
二 、 预 备 事实 
引 理 6.8 当 (2) 有 界 时 ,有 
d,~ a, (6. 55) 
首先 , d, = OC) 容易 通过 把 S. 化 为 对 角形 并 利用 {z.} 有 
界 而 推出 . 其 次 , At = Od) 由 (3. 11) 得 出 . 1 
注意 ”后 一 部 分 的 证 明 林 用 到 {x,} 有 界 .至 于 前 一 部 分 , 易 
见 没有 (x) AR BEATIN. 
引 理 6.9 在 定理 6. 7 的 条 件 下 有 : 
1° 在 条 件 4" 中 定义 的 h(t) TER! 上 处 处 有 限 、 连 续 . 
2° Egle) = 0 H lye) | 的 任意 阶 矩 有 限 . 
3” 对 给 定 的 常数 工 > 0 ,存在 只 与 有关 的 常数 >, 
cz > 0, 使 
A(t) — ACO) Beye? [tl S L (6. 56) 
Varlple + 2) — pled) Set’, lt] QL. (6.57) 
4 HEBREA m> 0, 工 沁 0, 有 
sup{E| pce, +6) — ple I"s\£| SL} < oo (6.58) 
为 了 证 明 , 作 Taylor 展开 : 


+ 176+ 第 6 章 MM 估计 的 线性 表示 


ple, +t) = pe + le) + 2 gle + 621), ALIS 
(6. 59) 
根据 假定 , M= sup|g (2) | < so (6. 59) 中 的 两 式 相 加 ,注意 
到 函数 p 为 非 负 ,得 
ple, +t) < ple, tt) + ple—t) < 2ple) + Me, 
(6. 60) 
由 假定 3", 即 可 知 e + 2) AER BTA APE. 特别 是 A) 一 
Eple, + t) ABR. 在 (6. 59) 中 取 z = 1 并 取 十 号 ,得 
we] Sp) + ple +1 + M. 
由 此 及 假定 3*, 知 e)l HERKESE. 利用 这 一 点 以 及 由 
《6. 59) 得 出 的 
lole + t) — ple)| S ligle) | + Me’, 
邑 得 (6. 57). 
h(t) 的 连续 性 由 (6. 60) ,利用 o 的 连续 性 和 控制 收 合 定理 可 
推出 来 ,由 (6. 59) 有 
|(hQ@) — k(O))/t — Eyle)| < Ml. 
Bt 0, ACO) = Egle). 因为 0 是 At) 的 最 小 值 点 , 故 有 
h (0) = 0 .这 证 明了 Egle) = 0. 利 用 Eyle,) = 0 及 (6.59), 即 
得 


h(t) — ACO) = 2° EY (el + 04t). (6.61) 
为 连续 且 有 界 , 由 控制 收 合 定理 ,有 
limEy (e, + 04t) = EY (e1) ~ 8 > 0. 
由 此 与 (6. 61》, 得 
lim (e) — h(0))/t? = g/2>0. 

HAS tA OW, h(t) > ACO), 即 得 (6. 56). MIG. (6. 58) 根 据 
(6. 60) 及 ple1) 的 各 阶 矩 有 限 的 假定 即 可 推出 来 . 引 理 证 
毕 . i 

引 理 6.10 在 本 定理 条 件 下 ,(6. 48) RE. Ë A ~ a 
(6. 15? 成 立 , 且 其 中 的 pp 可 改 为 二， 
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事实 上 ,证 明 (6. 48) 或 (6.15) 所 用 的 推理 在 此 处 的 假定 下 全 
MAR. 又 若 如 一 ,由 引 理 6. 8, 有 Am ~d. .结合 条 件 5°, 知 存 
在 常数 c > 0 ,使 当 n 充分 大 时 ,有 p on. HS 

loglogn = O(loglogy,). 
另 一 方面 ,由 于 {z,) A ER > OM Sen. FRR 
A 

loglogz, = O(loglogn). 
这 样 便 得 到 

loglogss, ~ loglogn, 
ATE A ~ oy 之 下 ,(6.15) 式 中 的 loglogp 可 改 为 loglogn. 引 理 
证 毕 . 1 
引 理 6.11 仍 如 前 , 记 
ty = 8,2, ASi<n), 


并 定义 
A, = DUG) S EVE nTn (6. 62) 
= 
则 在 定理 6.7 的 条 件 下 ,有 
A, = O( (d logn)? ) , a. s.. (6. 63) 
XEF A ~ pn RCG. 63) 可 改进 为 
A, = OUd,loglogn)™?), a. s. (6. 64) 


暂且 以 a 和 bo FAE zw 的 第 j 个 和 第 个 分 量 ( j,k 二 1， 
=p). (6. 63) 的 意义 是 


m= Dante DE, = OCdylogn)"?), a.s.. C6. 65) 


HE =We)—g, EES =0 H E ARRE 2). EIH gE 
ca > co ,而 考虑 /Cc.(d,logn)") .不 难 验证 ,在 定理 6.7 的 假定 
下 , 引 理 8. 7 证 明 中 所 引用 的 文献 [63] 中 那个 结果 适用 于 
tn/ (en ld dogn”) . 按 该 结果 ,可 得 到 

T/Cc dlogn)!’) — O, a. s.. 
由 于 这 一 事实 对 任何 c, ~ co 都 成 立 , 故 有 
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= OU(d,logn)'*), a.S. 
从 而 证 明了 (6. 63). 
(6. 64) 的 证 明 较 复杂 一 些 , 仍 以 筷 记 VY Ce.) 一 g， PA a Hb 
别 记 zi 的 第 了 个 和 第 上 个 元 (j,k 二 1,…,p), 记 


n= Dabés 
Ai EE, = 0. HPCE 二 0)=1, 则 A 以 概率 1 为 0,(6.64) 当 然 成 
LEPR MA = ES 非 0, 有 限 , 记 
B: = > oa， 
分 两 种 情况 : 
® Bi— oo, N (zx,} AREH B/B, 一 1. 按 引 理 6.3 
的 推理 ,有 
Hsup|F, (x) — (7)| = Od!) = O@ **), 
MA {zi} 有 界 , 有 
logB, = O(logn), 
故 
n= = OClogB,)™) 
对 任何 c > 0 RE XUE T 7, RNE 6. 2 的 条 件 全 满足 , 得 
到 
2, = O((BiloglogB?)'/*), a. s.. (6. 66) 
现在 由 入 ~ mB C 为 常数 ): 
Bi< e max lsh Ua? 
= c max || Srn (tresa) 
Lei 
= ORPOA) = Od) = OG"). 
最 后 一 式 子 是 因为 {x,} BHA = OM) id, <p WHR 


〈6. 66) ,得 
= OCA d! logiogn)'*), a.s.. 


emcee 
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这 一 结论 对 任何 (j,*) 成 立 Sj kS p) , 故 


D,= YYW’) — ena! 
cn 


= Od dogloga Y”), a.s. (6. 67) 
因为 A, = SPDS, i, 
而 Sr? = 005"), 


由 上 式 即 得 (6. 64). 
© (Bi) 有 界 :对 这 个 情况 ,要 引用 下 面 的 结果 : 
WEE: X iid., EE, = 0, EE < co 对 某 个 自然 数 > , 则 


sup{&( Sas) “Sata ne 1} <o (6.68) 


mi mi 


证 明 见 文献 [6]. 由 于 {8.} RE AR, H ES = 0 h6. 68) 有 
En = OQ) , 故 当 r > 2/8 时 ， 


Ed,” = Old.) = O(n *) = O(n), 


于 是 
Sd, h = 0(1), a.s.. 
这 对 任何 G-A) 都 成 立 A KIRA), HD, = old”), a.s., D, 
的 定义 见 (6. 67). 最 后 ,由 
D, = o(d; ), a.S., 
A, = SzP DS? 
以 及 
Sy? = OF") = O(a?) ( 见 引 理 6.8)， 
有 
A, = old\idi Wd}?) = o(d!) = o(d¥*(loglogn)*”), a. s.. 
BD (6. 64). 引 理 证 毕 . 1 
引 理 6.12 在 定理 6. 7 的 条 件 下 ,对 任 给 的 之 0 ,有 
PC | SHB — By) || Sn’, io.) = 0. (6. 69) 
不 失 普 记性 , 设 A = 0, AH Y. = e iB 
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B, = B N {8: || Si?8 | San"). 
把 R Hat yA A n 的 超 立 方 体 : 
Tia stg) = {Gore yup iln SE <LI}, 
L=0 l, £2) OKIL) 

Ë Jase) NB AD. 则 从 此 交集 中 挑 出 一 个 点 
Bini, = Bs MARIARI H C.. 由 于 集 B 有 界 , G, 中 
所 含 的 点 数 HIG) Sn ( 当 充分 大 时 ). 记 

E= ple — z: 8)—ple)— (hl zi8)-AW)) (一 1，2，)， 


MBD= Dle — 2.8) ~ ple)) 
a 
= E+ Dac 2A) — Aw) 
各 aI 
= Ss 十 名 (9)， 
全 


VB) = >)Var(p(e — 2,8) — ple,)). 
= 


BA aM BRR ATB: i 之 1,BE BAR. BGR (6. 56) .(6. 57) 
BB, 的 定义 , 知 存在 常数 请 > Oh, > 0 ,使 对 任何 BE BL, 有 


5, (BS hy D CaP)? = hy IE SVB DS hn”, (6. 709 


VBS ha BY? = hy || SVB I (6. 71) 
= 


Wim > 2, 其 值 将 在 后 面 选 定 . 按 (6. 58). 有 
supE|&, |" =a, < oo 


利用 引 理 3. 1 ,并 注意 (6. 70) 和 (6. 71), 有 
PACD 2 Min) < PAB) < 27h |] SHB ||) 


< P(E <— 2% 1 S8 I) Sean) nan 


+ 2exp(— ezh? || SR I/ Cha Il SRI 
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nt ™ 十 gexp(— zn). 


AÈ cisel 都 是 只 与 各 有 关 的 正常 数 . 由 此 式 ,并 注意 到 
HG) Sn ,有 


P(inf aD <2 lyn) Kn emn- 十 onietloxp (— En), 
(6, 72) 
现 设 8 是 B. 中 的 任 一 点 , 找 包含 此 点 的 立方 体 JC,… ,lp) - 
FAME IB GC. FIG. ,ls) 的 公共 点 记 为 8*,， 有 
a 一 及 | < Vpn? 
AA tn). BAY RAF KA 
ple, — 218) — ple, — xB) 
ER e — ah 处 作 Taylor 展开 ,有 
ete — 2.8) — ple, — 2/8") 
= gle, — TBT Bt — 8) + YO. TB — B))*/2 
= gle, xih" — B) — P ODB — PB) 
+ HO) (a, (8* — 8))*/2. 
RP ONF e — 28 Me — h Zi WO Fe Ge — ez 
间 , 由 此 知 存在 常数 M 充分 大 ,使 当 n 充分 大 时 ,有 


AD |= [Zoe — #8) — ate, — £8 | 
<M( igela aa ttan) (6.73) 
这 里 用 到 了 
Di — B= (8 — RYS — BD 


Kal 8 P< pan *, 
又 因为 (2) 有 界 , 有 A = OC) oie 


Sais ~ BY = Om). 
= 
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By P(ived #7 :> 1)< DE ge] 


= On), 
由 此 及 (6. 73) 知 :车 取 常数 M 充分 大 ,有 
P(sup |A.<A)| >My) = 007. (6.74) 
BEB, 

定义 事件 

E. = (inf AB) <0), 

pes, 

因为 


AA) = ACB) + 4,8"), 
A Ws = inf 48) >= sup 4.(8)| + pia. 
由 此 式 及 (6. 74). 得 
PW, &— M, + inf AP) = O@™). (6. 75) 
HB, 的 定义 ,有 
E, D {SP | Sah, 
且 当 充分 大 至 使 2-'hn*” > Mi 时 ,有 
EC (wW, <- M, + inf ce} U [inf Ac) < 2thn), 
(6. 76) 
ELAR m > 2 充分 大 ,使 2am 一 3p 一 2 之 2, 则 由 (6.72), 有 
P (inf AD < hn) =O), 
JEG, 
由 这 个 事实 以 及 (6. 75) 和 (6. 76), 得 P(E,) = Oa), FEH 
Borel-Cantelli 引 理 ,得 P(E., i.o.) 一 0 .再 由 事件 
E,D {|| S178, || Sat}, 
即 得 (6. 69). 引 理 证 毕 ， 1 
三 、 定 理 6.7 的 证 明 
不 失 普 遍 性 , 仍 设 B = 0.4 


B: = Sh, Bee :won (6.77) 
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H, = > ole, — zup) — ple, — taf). (6.78) 


R DEUH H, < 0 JB ple, — zB;) E e. 一世 及 附近 作 
Taylor 展开 ,有 


H= Se, — apaa B. — BE 


FE — BY DV — £8, 
ta — BE) E A — Bd 


= Sera =E= Rw (6) 2u Eu Be — BF) 


a BG = Ganha) — $e) ZmXu Ba — Be) 


+2 ei — R l? 


KE BY NG = gtst A? ~ Ba) 
ts 


hee = BY DY (e; — E Putin By — Bo >? 
rm 


= P eV) Em2 Br — Pa). 
ERP 18, K1 G= 1,212), 定义 A, 如 (6.62). 注 意 到 及 的 
定义 (6.77), 易 见 上 式 右 端 前 两 项 之 和 等 于 J 三 一 BAB, 一 
Bo). 把 上 式 右 端 第 3.5.6 HHMI Ja Jada 得 
H= 2g || 8: -B+ Sd. (6.79) 


注意 到 


a) <1, Sxl = p 
及 4 满足 Lip(1) ,有 
IICA + NBI + WA — Balls 
IIC VE MAM Ue B 
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IKCA: + LAr Belts 
JAKEA, || Bll + Va a Pa? — Be 


这 里 C 为 常数 ,与 4 无关 . 又 注意 到 1A.) 表示 方 阵 4, 的 各 元 绝对 
值 的 最 大 值 ,由 以 上 估计 及 (6.79) 式 ,有 
OSH, > | Be — Bl {(e/2 一 Cl4.| 
=C Sd, (Bii —€ Vd VRAD lB ~ Ball 
—Cl|Al + WB ~ E vd, WF. (6. 80) 
RG. 63) 及 假定 d, = OM), A JA | = o(1)，a.s,, 又 据 引 理 
6. 10, 知 (6. 48) 成 立 , 于 是 有 
Vd, BN = 01). as. 


在 引 理 6.12 PR a < 8/2 , 则 由 引 理 6.12 Rd, = On”), 有 
Vd, IB || = 00), as. 
又 
[A.l e HBI = Od logn), a. s., 
Vd, || B, |? = OC/d, logn), a.s. (6. 81) 
把 以 上 的 估计 用 于 (6. 89) ,得 
02H, > || Br — Bl ((e/2 一 oG)) |B — Bl 
~ OC Md, logn)} .a.s.. (6, 82) 
BH g/2> 0 ,由 (6. 81) 即 得 (6. 52). 
MUSA, ~ py» WARES [FB 6. 10 及 (6. 64), (6. 81) 中 的 logn 可 
代 之 以 loglogn, 因 而 (6. 82) 式 中 的 logn 也 可 代 之 以 loglogn. 这 导 
致 (6. 54). 以 上 证 明了 定理 6.7 的 强 表示 部 分 . 
下 而 转 到 证 明定 理 6.7 的 弱 表示 部 分 :注意 到 
IBI =O,0), |4,| =O vad,). (6. 83) 
其 证 明 是 容易 的 : 


EIB I? = g Plz PEW Od) = gpa 
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与 AK. 按 引 理 6.11 的 证 明 , 取 A, 的 一 个 元 如 (6. 65) 式 中 的 
Yer 根据 岁 BATE DR 
EW = O(d,). 
由 此 推出 (6. 83). 将 (6. 83) 用 于 (6. 80) ,得 
OSH, SI BP — Bh ((g/2 — 0,0) |B — Bl 
— Q, 4d, >}. 
册 此 式 即 得 (6. 53). 
最 后 要 证 明 (6. 53) 不 能 一 般 地 被 改善 . 为 此 , 取 位 置 参数 模型 
Y= 一 el(1Si&n,n 之 1), 有 d, 二 n!., 选 定 p 及 el 的 分 布 ， 
使 之 满足 定理 6.7 WGA, AO AY” ER 处 处 存在 并 有 界 ， 
Eple) = 0 .注意 到 这 样 一 个 实例 : 
ecu) = ut/(1 H), e 的 分 布 为 NG0,1). 
我 们 来 验证 ;此 例 满足 定理 6. 7 的 一 切 条 件 , 只 有 4 需要 讨论 . 其 
他 条 件 都 是 显然 的 ,有 
A(t) = Eple, +t) = F ewo u — PDA + du, 
而 
A= Fe = Dexp(— (u — 1) /2Ju* + ur) du 
IFu+ 14+G@—08 
DRRR uA +0) H u> ON ee Bs bs 
M4 t> ON, AO) > 0; BH. LMR ER Mh (— 1 
=> A(t) ; 故 知 当 t ORT, AE) <0. OK, A) EL <0 
处 严格 下 降 ,而 在 上 > 之 0 处 则 严格 上 升 .因而 必 以 上 一 0 为 其 唯一 的 
最 小 值 点 . 
以 下 仍 设 记 = 0. 8 的 夺 估 计 记 为 方程 
Sve, 一 有 一 0 
人 
HREH g = p . 作 Taylor 展开 ,可 以 把 


frer (u +y (u — t} du. 
o 
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Sve, — 8) 一 0 
写 为 
Deed 一 DY dA +27 Dye, — 68,8 


=0 ©<6<)1). (6. 84) 
因为 对 本 例 而 言 有 及 = O,(1) , 故 由 (6. 53) 推 出 
及 = O(n") = 0,(1). 


FE BAY BRA 
P(e, 一 0 有) = oe.) + O DB» (6. 85) 
说 此 代入 (6. 84) ,并 注意 
Dee) — ngh, = ng B, — BD =— mgR,, 
有 
0=— nigR, 一 DY le) — eB, + 2° Dv (eB + On 
=~ ngR, — L + L; + Ls (6. 86) 
因为 迪 SRA 
了 We) = 0,0"). 
a 
又 
B= On), 
故 有 
Li = O,(n ¥*) = 0,(1). 
因此 ,车 


R, = 0, (dy?) =0,(n-™*), 
则 由 (6. 86) 将 得 到 
L, = 0,(1), 
但 这 是 不 可 能 的 ,因为 出 
P = El Ce)? > 0 
知 


$6.3 P 不 必 为 凸 的 情况 + 187+ 


Swe — g)/ Vn > NCO), 
本 A 
ap, NO, e/g), 
故 
L= Sab Zwe EE 


不 可 能 依 概率 收敛 于 0. 这 证 明了 R, PREK 00), FEE 
理 6.7 全 部 证 毕 . l 

注 1 由 于 弱 表 示 (6. 53) 中 的 V 4, 部 分 已 一 般 地 不 可 改善 ， 
因此 ,对 强 表 示 (6. 52) 和 (6. 54) ,其 中 的 Vd, 部 分 当然 也 无 可 改 
善 ,logn 或 loglogn 部 分 另 当 别论 . 

注 2 从 本 例 讨论 过 程 中 可 看 出 ，(6.53) 不 可 改进 ， 根 
源 在 于 Pei) 一 8) 关 1,， 而 这 是 一 般 的 情况 .如果 
PW) = g) = 1, 则 (6.53) 确 可 以 改进 . 一 个 平凡 的 例子 是 
pla) =u (LS 估计 ). 这 时 R, 二 0. 也 可 以 举 出 非 LS 估计 的 例 
Fe. 

BI 6.6 仍 考虑 位 置 参 数 模型 7 = Po +e. 在 此 取 plu) = 
wf (+a), ei 的 分 布 为 

Pte, ~=a)=P(e=—a)=1/2,0<a<(2 V3). 
容易 验证 ,这 满足 定理 6.7 的 所 有 条 件 , 只 有 条 件 4" 的 验证 较 复杂 
一 点 (此 例 中 2 为 非 凸 通 数 , 故 这 一 条 并 非 自明 ) ,有 


al (a +t)? (a — t)? 
Erato) = a iat isa p) 


为 证 上 一 0 是 Eple +2) 的 唯一 最 小 值 点 ,只 须 证 明 :函数 
mE) = 1+ +a)? +0 + @— ay)? 
有 唯一 最 大 值 点 + 一 0. 因为 当 t 之 a 时 , mt) ma). RMS 
虚 0 志 t+ 二 a 的 情况 . 记 
f= Atr)’, 
fi (= (2 DA HA, 
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则 ma) =— fla +t) + flat). (6. 87) 
AA l] 之 1/ V3 PO) > 0 , 知 在 这 个 范围 内 了 严格 增加 . 
4OStSe<1/2 V3) M.A late] <1/V3, lamel 
1/Y3 -40 <a<1/(2 Y3), 而 :由 0 增加 至 时 ,(6.87) 右 
端 两 项 都 严格 下 降 . 又 m'(0) = 0 , 故 当 0< te <a hm C) <0, 
Bl mt E O St <a 内 严格 下 降 , 而 0 为 m(z) 的 唯一 最 大 值 点 ， 
对 本 例 而 言 ,(6. 86) 式 中 的 工 H OTi Le AL, URE On) ， 
故 
R, 一 OrD = O,(d,), 

超过 了 (6. 53) 给 出 的 阶 0,( V qd) .由 (6. 86) 也 可 以 看 出 ,除非 
plu) = u RAGA HO, Cn") 更 高 的 阶 . 

在 本 例 中 , 强 表示 (6. 54) 也 可 以 改善 :应 用 重 对 数 律 ,并 注意 
到 (6. 86) 式 中 的 L 为 0, 易 得 

R, = O(n! Cloglogn)*”) = O(d, log logn)*”*), a.s. 


§6.4 线性 表示 的 应 用 


线性 表示 (6. DE M 估计 分 解 为 一 个 线 往 独立 和 与 一 个 剩余 
项 ,而 后 者 很 小 ,起 主要 作用 的 乃 是 前 者 . 利用 这 一 点 ,可 得 出 有 关 
M 佑 计 的 若干 深层 次 的 渐 近 性 质 . 本 节 中 将 讨论 这 类 几 个 问题 ， 
以 印证 上 面 的 论断 . 

一 、 用 估计 强 收 伊 速度 

在 第 3 章 中 曾 证 明了 ;在 很 一 般 的 条 件 下 , M 估计 .以 概率 
1 收敛 到 参数 真 值 A. 这 收敛 的 速度 有 多 快 ? 在 第 3 章 中 未 曾 回 
S. 应 天线 性 表示 ,容易 证 明 下 面 的 结果 : ; 

定理 6.8 在 定理 6. 3 或 定理 6.7 的 条 件 1°~5* 之 下 ,有 

B. — By = Odlogn)), a.s. (6. 88) 

而 在 定理 6.1 或 定理 6.7 的 条 件 1" 一 5" 如 上 为 ~ An 之 后 ,6.88) 
Hi doga)? 可 改进 为 (loglogn)272 ， 

证 有 
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Be — Bo = SB. + SIAR, 

RP p 系 按 (6.77) 的 定义 .因为 

IST] = OCA), 
故 根据 引 理 6.8, 有 

IS] = Oday?) 
《注意 : 引 理 6. 8 的 这 一 部 分 并 不 要 求 2) 有 界 ). 因此 ,不 论 在 定 
理 6.1`、 定 理 6.3 或 定理 6.5 之 下 ,都 有 

STIR, = 0(d!l) = o((djlogn)"*), a.s.. 
而 根据 引 理 6. 3 或 引 理 6.7 或 引 理 6. 10, 都 有 
B. = OCGogn)'*), a.s. 


因而 


SIB, = OC(dlogny'*), a... 
将 二 者 结合 起 来 , 即 得 (6. 88). 车 进一步 假定 入 ~ po , 则 
B, = OC(logn)'*), a.s., 


可 


[以 用 
P. = O(CGloglogz)2:) a.s. 

代替 之 ,因而 (6. 88) 中 的 Cogn)!” 可 以 用 (loglogn) 代替 .定理 
证 毕 ， l 

=. M 估计 的 午 对 数 律 

以 下 分 别 用 Bo, > Ba, o Bay HH Eas VE Bo s By» Pa PA SECR, — Bo) 
的 第 7 PASI <p). 

定理 6.9 设 定理 6. 1 或 定理 6.7 的 条 件 满足 , 且 存在 常数 
列 (c) RIES AM V ,使 


So/c. >V, (6. 89) 
则 有 
tims ( y/(2g*o"logloge.)"") = | 1 as, (6.90) 
inf =T 
1 
Fim? ( (By — Po) /Cac ef? g tloglogc,)!?) = | ae 
in se 
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oH g HELLERS. 1 的 条 件 A 和 Ay, UO? ETEV R G, 
四 元 . 又 在 定理 6. ? 的 条 件 下 ,以 上 两 式 中 的 loglogc. 可 改 为 
loglogn. 
证 令 
T, = DV nge) 
JELA a; WE Va 的 第 7 了 个 分 量 , 则 
Ty = T 的 第 7 个 分 量 = Dave. 


不 难 验证 ,在 本 定理 的 条 件 下 , 引 理 6, 3 中 对 Q. 所 作 的 论证 完全 
通用 于 此 处 的 了 . 由 于 


Var(T,,) = Dah = A e VSV BG) TÈ 


cr 
而 根据 (6. 89) H 
VMS V" = cl, + OCC)» 


于 是 
Shai /e 1. 


m 


这 样 ,类 似 于 (6. 17) ,得 到 


sup T 
lim, f (T,,/ (2c,*logloge,)'") = | yr Boe (6. 92) 
m hea 


再 利用 (6. 89) ,得 到 
B= 8 S VOT, = ge PT, + ober T). (6.93) 
由 (6, 92) 与 (6. 93) ,得 
lim P (及 /(2g-sasloglogcs)a2) = | l as. (6.94) 
inf = 
在 本 定理 的 条 件 下 ,根据 定理 6. 1 或 定理 6. 7 的 结论 以 及 c, > co 
(这 由 dd 一 0, 因 而 S71' 一 0 以 及 (6. 89) 推 出 ), 由 (6. 94) 即 得 
《6. 90). 
(6. 91) 的 证 明 类 似 ,只 须 把 T, 的 定义 修改 为 


$6.4 ”线性 表示 的 应 用 "191. 
= Sv-tnyle)s 
FA a, IV x, 的 第 7 个 分 量 ,注意 


Dias VSV RGD È 


mi 


= VFS VV? G, j) FE 
= VeL, + oD VY" Gj) FE 
= (eV + ole) WG T 

= cw; (1 +061). 


因而 
D9} / evi?) =l. 
其 次 
ES” Ba = SPST VT, = SVT, = cp T, + oler Toe), 
其 余 的 推导 与 前 无 异 ， 


最 后 ,在 定理 6. 7 的 条 件 下 ,根据 假定 d, = On) 以 及 引 理 
6.8, 有 
n = O(d;') = O). 
而 根据 (6. 89), H A = Ole.) Ken’? = OC). 另 一 方面 ,根据 假定 
(x) FR RA =O) .将 二 者 结合 ,得 
‘Joglogc, /loglogn — 1. 
因而 在 (6. 90) 和 (6. 91) 两 式 中 ,loglogc 可 改 为 foglogn. 至 此 完成 
了 本 定理 的 证 明 ， 1 
三 、M 估计 的 分 布 收 敛 于 正 态 分 布 的 一 致 速度 
,的 意义 与 第 二 段 中 相同 . FP, id g&,/o 的 分 布 函数 ;以 外 


iE N(0,1) 的 分 布 函 数 . 
定理 6. 10 设 定理 6.7 的 条 件 1~5°* 成 立 , 则 
sup |F, l1) 一 $lz) | = Odi ogn), (6. 95) 


证 仍 如 前 设 8. = 0,8; 和 到. 的 定义 如 (6.77), 4. 的 定义 如 
《6. 62). 定义 事件 
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E= {lp Se IN UAL <i Na, IBN < el, 
(6. 96) 
RP OE BCe, C 的 意义 见 (6.80), 而 < 一 3/4. A, HY 
Gk) 元 并 记 之 为 了 以 tu, 记 zw 的 第 了 个 分 量 , 则 因 


Dita < maxzh Dz S d, = OG), 


Iia 

HERD Y AFA Ye) 一 & 的 任意 阶 矩 存在 ,引用 
(6. 68) ,得 知 对 不 小 于 2/8 的 整数 x, 有 

ET? = O”) = O(n"), 
故 

PC\T,| Se) = O(n ?). 
用 完全 同样 的 方法 ,可 证 明 
P/T, |B,| SO) = O(n). 

又 根据 引 理 6. 12 的 证 明 的 结尾 处 知 

PEIA | Bat) = O@™). 


总 结 以 上 ,得 到 
P(E) > 1— Or). “(6.97) 
于 是 ,根据 
0<e< 807g, a = 8/4, d, = On’), 
知 当 事 件 E, 发 生 且 充分 人 时 ,有 


gi2—Cla,| —C 7d, 8," -CValBl > a/4. 
将 上 式 与 (6. ORA A RYE, REH n 充分 大 时 ,有 
I Be =R | KC lAl + Bell +C AH IB, A? 


(6.98) 
RP C 为 某 一 常数 . 以 下 . ie gB,s/o 的 分 布 , 则 据 引 理 6. 1, 有 
sup|F,(2) = P) | = OC Yd, ). (6.99) 


定义 事件 
En, = {|B| So Vlogn/g}, 


Ba 
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并 记 
则 根据 (6. 99) ,有 
PEDS OC Md, ) + 20. — BC Sogn) 
=O d) +O”) 


=O d,). (6. 100) 
ig o = Var( (e,)), 


定义 事件 
Es = {|T.| < Gootdlogn)?}, Eqs =f Ean 
式 中 如 前 了 T, 是 4, 的 (j,) RAFY 有 界 ,对 某 个 常数 上 ,有 
SUP | 2m Ena H Ce) — g)| Sbd, A Sin). 
又 
Var(T,) < dot. 
由 此 ,利用 引 理 3. 3, 得 到 


3dlogn 
2d,0% + bd. (God dogn)”; ? 


(6, 101) 
HF d, = O7’) , Bl ddogn > 0. 4 n 充分 大 时 ,有 
blod, loga)” < o. 
所 以 ,由 (6.101) 即 知 , 当 半 充分 大 时 ,有 
P(Esm) S 2exp(— logn) = 2/n = O(d,), (6. 102) 
结合 (6. 97) (6. 100) #1 (6. 102) ,得 
PE, N En N En) 21 Od). (6. 103) 
但 由 (6. 98) ,及 事件 En A Ena ELTA YE.) En N En RE 
并 且 充分 大 时 ,有 
BB; - ,l/r KC, Vd, logn. (6. 104) 
NPC, 为 某 一 常数 (注意 , 按 我 们 的 记号 , &, HB 的 第 了 个 分 
量 ). 由 此 ,利用 (6. 99), 并 注意 8 ER 上 有 界 , 得 


P (Eksa) S 2exp| 一 
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F(x) = Pl gt, /o<2) <P (gB,,/o<atC, Vd, logn) +O. d, ) 
= Fa +C, 7d, logn) + OC d, ) 
= F (z +C, V d, logn) — Ox +C, Vd, logn) 
+ (x +C, Vd, logn) — Bz)) + B(x) + OC fd, ) 
= 0(Vd,) + OC fd, logn) + B(x) + OC. /d,) 
= B(x) + OC fd, logan). (6. 105) 
周 理 , 从 
F(x) > F, l — C, fd, logn) — OC Vd, ) 
出 发 ,得 到 
F(z) > B(x) + OC Vd, logn). (6. 106) 
将 (6. 105) 与 (6. 106) 结 合 起 来 , 即 得 (6. 95). 定 理 证 毕 . 
关于 (6. 95) 的 精度 ,可 以 指出 的 是 :能 构造 出 这 样 的 例子 :使 
C6. 95) 的 左 端 达 不 到 oC A 4, ); 而 至 今 尚未 造 出 这 样 的 例子 :使 
(6.95) 的 左 端 不 是 O( WY 4,) ,因此 ,有 这 种 可 能 ;(6.95) 可 改进 为 
OC/ 如) .这 一 点 是 否 正确 尚 待 研究 . 如 果 正 确 , 则 OC Sd, ) 就 是 
可 能 达到 的 最 好 的 结果 ， 


umno WN- 


6 人/ 
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